ClickHouse > 实例探究 > OONI 的转型:通过 ClickHouse 加强互联网审查衡量

OONI 的转型:通过 ClickHouse 加强互联网审查衡量

ClickHouse Logo
技术
  • 应用基础设施与中间件 - 数据库管理和存储
  • 网络安全和隐私 - 数据库安全
适用行业
  • 建筑物
  • 建筑与基础设施
服务
  • 测试与认证
关于客户
网络干扰开放观察站 (OONI) 是一个非营利性免费软件项目,旨在支持分散化的工作,记录全球互联网审查制度。 OONI 成立于十多年前,旨在提高互联网审查的透明度。他们为用户提供免费的软件工具来测试他们的互联网连接质量、检测审查和测量网络干扰。 OONI 收集其全球志愿者网络生成的数据,对其进行分析,将其作为开放数据发布,并进行研究,将研究结果与特定国家、地区以及正在进行的社会或政治事件联系起来。他们还与全球 43 个合作伙伴组织合作,传播调查结果、开展宣传并支持政策制定和法律行动。
挑战
网络干扰开放观察站 (OONI) 是一个非营利组织,提供免费软件工具来记录全球互联网审查制度。他们的工具允许用户测试他们的互联网连接质量、检测审查并测量网络干扰。然而,OONI 在处理这些测试生成的大量数据方面面临着重大挑战。他们最初使用平面文件、MongoDB 和 PostgreSQL 来存储测量实验的元数据。随着数据集增长到数亿行,出现了性能问题,需要从 OLTP 数据库转向 OLAP 数据库。 OONI 需要一种解决方案,能够简化其架构,同时处理复杂的数据可视化并支持对其 1B+ 行数据集进行搜索和聚合。
解决方案
OONI 采用 ClickHouse 作为其数据存储和分析引擎来处理大量数据。 ClickHouse 使 OONI 能够对通过其网络测量测试收集的大量数据执行复杂的查询。它还支持生成可视化效果,这有助于识别数据中的趋势和模式。 ClickHouse 简化了 OONI 的架构,使研究人员能够更轻松地访问数据。原始数据(压缩的 JSON 文件)存储在 S3 上,而元数据存储在单个大表中。该表包含用于分析和聚合的所有相关元数据,例如国家/地区、网络、时间戳、目标和分析结果。它具有 14 亿条记录和 32 列的大小,用于许多聚合查询,为 OONI 测量聚合工具包 (MAT) 及其内部数据分析工具提供支持。
运营影响
  • The adoption of ClickHouse significantly improved OONI's operations. It simplified their architecture, allowing for easier data access for researchers. The ability to run any query directly on the dataset enabled faster iteration. The efficiency of ClickHouse also significantly improved their investigations, as they could quickly answer questions without having to wait hours for queries to converge. This greatly improved their internal data analysis tasks. Furthermore, ClickHouse enabled them to perform aggregations directly on the dataset without maintaining intermediate counter representations, simplifying the data pipeline. This allowed real-time publication of measurements, aiding human rights defenders in rapidly responding to censorship events around the world.
数量效益
  • Significant reduction in query time, with heavy queries that used to take up to 20 minutes on PostgreSQL now taking only hundreds of milliseconds in ClickHouse.
  • 2x reduction in on-disk size for the database.
  • Ability to handle a dataset of 1.4 billion records and 32 columns.

Case Study missing?

Start adding your own!

Register with your work email and create a new case study profile for your business.

Add New Record

相关案例.

联系我们

欢迎与我们交流!
* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

感谢您的信息!
我们会很快与你取得联系。