ClickHouse > 实例探究 > 利用 ClickHouse 和物化视图进行高性能分析:Inigo 案例研究

利用 ClickHouse 和物化视图进行高性能分析:Inigo 案例研究

ClickHouse Logo
技术
  • 应用基础设施与中间件 - 数据库管理和存储
  • 基础设施即服务 (IaaS) - 云数据库
适用行业
  • 设备与机械
  • 国家安全与国防
适用功能
  • 维护
  • 产品研发
用例
  • 实时定位系统 (RTLS)
  • 时间敏感网络
服务
  • 云规划/设计/实施服务
  • 系统集成
关于客户
Inigo 是 GraphQL API 管理行业的领先公司,专注于大规模的综合安全和治理。他们的平台通过提供即时可见性、安全性、访问控制、合规性和持续交付,使 API 和平台团队能够完全控制、管理和保护 GraphQL 部署。除了安全功能之外,Inigo 还提供了关键的开发人员体验增强功能和工作流程效率,最终使组织能够加快 GraphQL API 开发、降低成本并改善最终用户体验。他们处理和分析数十亿个 GraphQL API 请求,创建高基数数据的聚合视图,生成警报,并根据大量数据创建仪表板。
挑战
Inigo 是 GraphQL API 管理行业的先驱公司,正在寻找一种可以处理大量原始数据进行分析的数据库解决方案。他们探索了各种替代方案,包括 SQLite、Snowflake 和 PostgreSQL,但这些选项都不能满足他们的需求。对于他们的需求来说,Snowflake 速度太慢且成本太高,尤其是在处理产品内的实时客户数据时。 PostgreSQL 虽然是一个优秀的事务数据库,但不适合大型分析工作负载。该公司能够让它处理大约 100K 行,但超过此后,索引就会失去控制,并且运行 PostgreSQL 集群的成本没有意义。一旦达到 100K - 1M 行标记,性能就会显着下降。 Inigo 需要一个能够处理数十亿个 GraphQL API 请求、创建高基数数据聚合视图、生成警报以及基于大量数据创建仪表板的解决方案。
解决方案
Inigo 选择了 ClickHouse,这是一种专门设计用于处理大量数据并同时提供快速查询执行的列式数据库。他们将 ClickHouse 与物化视图配对,允许预先聚合数据集,从而显着提高分析查询的性能。 ClickHouse 能够在引入新数据时自动管理和更新物化视图,从而简化了维护过程。 ClickHouse 的开源性质以及在笔记本电脑上将其作为简单的二进制文件或 Docker 运行的能力是主要的吸引力。 Inigo 当前的 ClickHouse 设置是一个单一数据库,几乎每个 Inigo 服务都有自己的表,其中一些表包含数十亿行数据。他们将数据整合到几个物化视图中,每个视图将数据分组到不同的时间窗口桶中。通过创建不同时间间隔的物化视图,它们可以增强查询性能并在不同时间范围内实现更有效的数据分析。
运营影响
  • The use of ClickHouse and Materialized Views has brought about several operational benefits for Inigo. They utilize Materialized View queries in nearly all aspects of their app, with the exception of one table with Raw data and any queries that involve filtering by a unique field. Switching to use Raw data when necessary is straightforward. They employ the same SQL files in their queries, with minor modifications made for Materialized Views. The convenience of Test-Driven Development (TDD) is enhanced by the speed of their independent integration tests. They've encountered no issues when using Materialized Views, both with standalone instances and within a clustered environment. Confidence in query speed enables them to identify issues outside the database, such as in tracing extensions. Looking ahead, they are excited about the ClickHouse Cloud offering and anticipate moving some of their self-hosted workloads to the cloud.
数量效益
  • Significant difference in data size. For instance, Raw data covers up to a week, while Materialized Views can accommodate up to a month's data.
  • Less load on the database and faster operation of the entire App due to the smaller size of MV tables
  • ClickHouse’s strong typing simplifies migration logic which historically needed to allow for weaker typing guarantees in NoSQL solutions.

Case Study missing?

Start adding your own!

Register with your work email and create a new case study profile for your business.

Add New Record

相关案例.

联系我们

欢迎与我们交流!
* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

感谢您的信息!
我们会很快与你取得联系。