Med Helper Now 是一个旨在将家庭医疗保健服务提供商与有需要的人联系起来的平台，面临着以小团队构建大型平台的挑战。联合创始人 Moazzam Khan 和 Nicole Harrison 拥有编码经验，但项目规模超出了他们的能力。他们需要一个能够为他们提供专业组件、数据集成和安全性，同时又具有成本效益和时间效率的解决方案。该平台需要满足两种类型的用户——服务提供商和服务用户——并为他们提供不同的功能。对于服务提供商来说，该平台需要验证许可证、管理预订和处理付款。对于服务用户来说，它需要促进预订、管理支付设置并实现与服务提供商的沟通。

DENIC eG 是德国互联网命名空间的管理员和运营商，由于数据分析的限制，在改善互联网社区的用户体验方面面临着挑战。与分析相关的数据分布在关系数据库、服务器日志数据和各种其他来源中。这些来源已用于监测和系统改进，但其分析功能有限，而且跨多种来源的交叉评估成本高昂或不可行。开发数据科学平台的初始步骤涉及使用基于关系 DBMS 的数据库。来自不同来源的数据由 Kubernetes 上的容器中的 Python 代理进行整合，并将结果写入数据库中的目标表。这种方法产生了大量的目标表和容器，这些表和容器难以管理并且变得有些过于复杂。此外，关系数据库仅适用于有限范围内的大量数据，因为查询的处理时间可能需要几分钟到几小时。

Disney+ 的可观察性团队面临着处理和分析其内容分发系统的访问日志的挑战。该团队必须处理 Disney+ 用户生成的大量数据，这需要高度扩展的分布式数据库系统。现有的解决方案，例如Elasticsearch、Hadoop和Flink，无法有效处理海量数据。例如，Elasticsearch 需要大量的重新平衡并使用 Java 虚拟机，从而添加了不必要的虚拟化层。由于数据的大小，该团队正在努力获取所有日志。

ExitLag 是一款优化全球 900 多台服务器上 1,700 多款游戏游戏体验的工具，它面临着 MySQL 的性能问题。他们在有关用户行为分析和网络路由映射的特定分析查询方面遇到了瓶颈和速度减慢，尤其是随着数据量的增加。在不断努力解决游戏玩家的常见连接问题的过程中，ExitLag 开发了一种复杂的方法来发送用户的连接数据包。这些数据包通过不同的路由同时发送，从而提高了数据包送达的保证。然而，不断增加的数据量导致了现有 MySQL 系统的性能问题。

GraphQL Hive 是一种用于监控和分析 GraphQL API 的开源工具，它面临着严重的扩展问题。该工具可跟踪更改历史记录、防止 API 损坏并分析 API 流量，最初使用 Elasticsearch 进行数据存储。然而，随着数据量的增加，平均响应时间开始明显减慢。此外，索引过程存在问题，较大的用户会影响较小用户的查询性能。尽管尝试通过为每个用户创建索引来提高性能，但 Elasticsearch 的整体速度仍然低于预期。 GraphQL Hive 背后的公司 The Guild 的团队也发现 Elasticsearch 基于 JSON 的查询语言具有挑战性，因为他们更熟悉 SQL。

HIFI 是一家为音乐创作者提供财务和商业见解的公司，其数据管理系统面临着挑战。该公司吸收了大量的版税数据，单个 HIFI Enterprise 帐户拥有超过 0.5 GB 的相关版税数据，代表超过 2500 万行流媒体和其他交易数据。该数据需要在客户登录后立即加载到用户界面中，并且可以有多个客户同时登录。此前，加载数据可能需要长达 30 秒的时间，有时会因超时而根本无法加载。 HIFI 使用 Google Cloud 的 BigQuery (BQ) 来存储版税数据，但 BQ 的定价结构是一个重大挑战。它阻碍了数据的使用，并与 HIFI 的数据驱动价值观相矛盾。谷歌提前购买 BQ 插槽的解决方案对于 HIFI 作为初创公司来说并不可行，因为使用模式可能每周都会发生巨大变化。

Highlight.io 是一个开源可观察性平台，最初专注于会话重放和前端 Web 开发功能。然而，随着对全栈可观察性的需求增长，该平台需要扩展其产品。这种扩展对于使开发人员能够跟踪 Web 应用程序中的用户体验、识别后端错误并分析其基础设施中的相关日志是必要的。面临的挑战是将这些功能集成到单窗格视图中以简化故障排除过程。此外，该平台旨在在 ClickHouse 的支持下向其堆栈添加日志记录功能，通过捕获和分析服务器端日志来提供对应用程序的更深入的了解。目标是处理高数据摄取率并确保开发人员可以实时访问最新信息。

Inigo 是 GraphQL API 管理行业的先驱公司，正在寻找一种可以处理大量原始数据进行分析的数据库解决方案。他们探索了各种替代方案，包括 SQLite、Snowflake 和 PostgreSQL，但这些选项都不能满足他们的需求。对于他们的需求来说，Snowflake 速度太慢且成本太高，尤其是在处理产品内的实时客户数据时。 PostgreSQL 虽然是一个优秀的事务数据库，但不适合大型分析工作负载。该公司能够让它处理大约 100K 行，但超过此后，索引就会失去控制，并且运行 PostgreSQL 集群的成本没有意义。一旦达到 100K - 1M 行标记，性能就会显着下降。 Inigo 需要一个能够处理数十亿个 GraphQL API 请求、创建高基数数据聚合视图、生成警报以及基于大量数据创建仪表板的解决方案。

Instabug 是一个 SDK，它提供了一套用于在整个移动应用程序开发生命周期中监控和调试性能问题的产品，它面临着性能指标的重大挑战。这些指标严重依赖于频繁且大量的事件，这给接收和有效存储这些事件带来了挑战。此外，性能事件的原始格式对用户来说没有用，需要大量的业务逻辑来进行查询和数据可视化。 Instabug 的后端规模庞大，API 平均每分钟约有 200 万个请求，每天有 TB 的数据进出其服务。在构建应用程序性能监控 (APM) 时，他们意识到这将是他们数据规模最大的产品。他们每天以每分钟约 200 万个事件的速度存储约 30 亿个事件。他们还必须提供复杂的数据可视化服务，这些可视化很大程度上依赖于过滤大量数据并快速计算复杂的聚合以获得用户体验。最初，他们像其他产品一样设计 APM，但遇到了 Elasticsearch 的性能问题，尤其是读取方面，而且写入速度也不够快，无法处理其负载。

Juspay 是一家印度金融科技公司，每天为亚马逊、谷歌和沃达丰等客户处理超过 5000 万笔交易。作为支付行业的先驱，Juspay 的使命是简化商户的在线支付，充当支付提供商和商户系统之间的中介。为了确保无缝的交易环境，Juspay需要提供监控和分析服务来保证支付系统的性能。由于商家种类繁多，需求不断变化，Juspay 必须跟上频繁的发布，通常是每天多次发布。他们需要一个监控解决方案，使他们能够保持快速的发布速度，同时确保最新版本不会影响正在运行的支付系统。此外，Juspay 之前的解决方案（来自 GCP 的 BigQuery）面临着高昂的运营成本，每天的成本超过一千美元。

MessageBird 是一个云通信平台，为超过 29,000 名客户处理数十亿条消息、电话和电子邮件。该公司严重依赖数据驱动的洞察来实现高效运营，分析后端 ClickHouse 自 2017 年以来发挥着至关重要的作用。然而，由于可扩展性和延迟问题，MessageBird 在 MySQL 上的初始设置面临着挑战。该公司需要一种能够处理大量数据摄取、提供较短响应时间并支持面向客户的仪表板和 API 的实时分析的解决方案。此外，该公司还需要一个能够监控短信发送性能并及时识别异常情况的系统。我们面临的挑战是找到一种既能满足这些需求又具有成本效益的解决方案。

法国数据工程公司 Modeo 面临着管理不断增长的数据量的挑战，同时准确测量数据使用和存储产生的实时碳排放量。这是他们关注气候变化的企业社会责任计划的一部分。该公司需要一种解决方案，让客户能够监控和优化其数据平台的成本、碳足迹和使用情况。我们面临的挑战是如何平衡不断增长的数据量和尽量减少环境影响的需求，这是数据工程领域的一个复杂问题。

NANO Corp. 是一家成立于 2019 年的法国初创公司，其使命是彻底改变网络探测器。他们的目标是创建多功能、轻型探针，能够在商用硬件上处理高达 100GBit/s 的带宽。他们的愿景是提供一种新的可观察性，将网络性能和网络安全结合起来。然而，为了充分利用网络探测器的潜力，他们需要一个强大的数据库。数据库必须处理快速且持续的插入，运行定期查询以进行警报和由多个用户启动的自定义查询，并有效管理大量数据。它还需要有一个热/冷数据缓冲系统，易于维护和部署，并且高效地使用 RAM。他们的主要工程师在之前的职业生涯中使用过的传统 RDBMS 无法胜任这项任务。当整体性能成为问题时，他们过于依赖更新速度并需要集群。 NANO Corp. 需要一个像他们的探测器一样具有开创性的数据库。

网络干扰开放观察站 (OONI) 是一个非营利组织，提供免费软件工具来记录全球互联网审查制度。他们的工具允许用户测试他们的互联网连接质量、检测审查并测量网络干扰。然而，OONI 在处理这些测试生成的大量数据方面面临着重大挑战。他们最初使用平面文件、MongoDB 和 PostgreSQL 来存储测量实验的元数据。随着数据集增长到数亿行，出现了性能问题，需要从 OLTP 数据库转向 OLAP 数据库。 OONI 需要一种解决方案，能够简化其架构，同时处理复杂的数据可视化并支持对其 1B+ 行数据集进行搜索和聚合。

Opensee 是一家金融科技公司，由一群金融行业和技术专家创立，他们因缺乏能够有效处理大量数据的简单大数据分析解决方案而感到沮丧。出于决策过程和监管原因，金融机构一直存储大量数据。然而，自金融危机以来，世界各地的监管机构大幅提高了报告要求，坚持更长的历史范围和更深的粒度。这导致数据呈指数级增长，迫使金融机构审查和升级其基础设施。不幸的是，许多存储解决方案（例如基于 Hadoop 堆栈构建的数据湖）对于大规模分析而言速度太慢。其他解决方案（例如内存计算解决方案和查询加速器）存在可扩展性、高硬件成本和粒度损失等问题。金融机构因此被迫做出一系列妥协。

Plausible Analytics 是 Google Analytics 的一种保护隐私的替代方案，在扩展其服务时面临着重大挑战。自 2019 年 4 月推出以来，该平台已发展到为 5000 多名付费订阅者提供服务，跟踪 28,000 个不同的网站，每月页面浏览量超过 10 亿次。然而，使用 Postgres 存储分析数据的原始架构无法应对该平台未来的增长。其仪表板加载速度较慢，长达5秒，不利于良好的用户体验。该团队意识到，为了继续其增长轨迹并保持客户满意度，他们需要更有效的解决方案。

QuickCheck 是一家位于尼日利亚拉各斯的金融科技初创公司，其使命是为超过 6000 万被排除在银行服务之外的尼日利亚成年人和 1 亿无法获得信贷的人提供金融服务。 QuickCheck 移动应用程序的下载量已超过 200 万人，已处理超过 450 万份小额信贷申请，利用人工智能提供基于应用程序的新银行产品。然而，该公司在分析大量财务数据、欺诈分析和监控数据方面面临挑战。他们需要一个能够处理每天加载的数十万行数据的解决方案，以进行投资组合风险分析和财务指标构建。

Superology 是体育博彩行业领先的产品技术公司，面临着有效收集和分析定量数据以改善客户体验和业务运营的挑战。该公司需要收集应用程序或网站访问量、特定页面上的客户点击量、社交部分中的评论和关注者数量以及各种转化事件和跳出率等指标。收集的数据结构各异，需要采用动态方法进行数据收集和分析。 Superology 使用 Google Protocol Buffers (Protobuf) 来收集这些数据，但需要更高效和可扩展的解决方案来处理大量数据及其动态特性。

Synq 是一个数据可观察性平台，面临着管理为其软件系统提供支持的复杂性、多样性和不断增加的数据量的挑战。该公司需要将运营和分析需求合并到一个统一的数据平台中。他们正在处理来自数十个系统的连续数据流，当客户运行大型批处理作业或新客户加入时，数据量会频繁爆发。该公司为回填数据设定了雄心勃勃的性能目标，并希望在客户使用产品时立即为他们提供价值。他们还希望有一个基础设施能够为其第一组定义的用例提供服务，并提供快速支持新用例的功能。最后，他们的目标是构建一个单一平台，可以存储原始日志数据，并充当应用程序和 API 所需的大多数数据用例的服务层。

TrillaBit 是一个用于报告和商业智能的动态 SaaS 平台，最初使用 Apache Solr 作为其数据后端。然而，他们很快就遇到了一些挑战。 Solr 作为一种键值存储，比大容量非线性聚合或数据压缩更适合搜索以提高性能。它的查询语言不像 SQL 那样成熟，并且不能有效地处理连接。在实现来自各种来源的真实公司数据时，TrillaBit 发现不同场景需要更大的灵活性。他们需要一种能够以低成本进行管理并且能够在他们的环境中实施以获得实践经验和理解的解决方案。然而，像 Snowflake 这样的流行竞争者过于昂贵，并且不允许完全本地实施。

许多公司使用 ClickHouse 是因为它能够支持快速查询。然而，让分析师编写查询、创建仪表板并在整个组织中共享它的过程可能会严重延迟问题的解答。许多商业智能 (BI) 工具需要有人在计算机上预先创建仪表板或限制用户使用某些过滤器，这一事实使这一挑战变得更加复杂。此外，在当今快节奏的商业环境中，对实时警报的需求以及基于用户当前位置的查询能力变得越来越重要。

该客户是一家市场研究技术公司，为营销团队提供交互式分析，使他们能够研究竞争对手以及自己的品牌和营销活动。该平台依赖于大量网络流量数据和其他来源，这些数据不断流入 S3 并用于面向客户的分析平台中的各种用例和功能。为客户提供出色的用户体验的一个关键因素是确保用户无需等待很长时间即可获得问题的结果。然而，等待超过几秒钟被认为是不可接受的。这导致该公司做出了几次痛苦的权衡。由于尝试分析更大的数据集时性能会下降，他们不得不将分析限制为一个月的数据（约 10TB），而不是四分之一的数据（约 40TB）。他们还必须聚合全年分析功能的数据以维持性能，同时牺牲钻取精细数据的能力。此外，他们必须限制可以分析的数据类型，因为与结构化数据相比，许多半结构化源的分析速度不够快。

TrueCar 是一家领先的汽车数字市场，在分析实时点击流数据以检测用户活动异常方面面临挑战。现有数据仓库和商业智能堆栈的延迟高于预期，并且扩展以支持对大量且不断增长的流数据进行分析的成本是一个问题。 TrueCar 希望不仅为分析师提供分析功能，还为营销和财务等不同职能领域的业务用户提供分析服务。他们试图在不花费时间和风险从头开始构建端到端分析能力的情况下实现这一目标。

Ekata 是一家提供数字身份验证服务的公司，在管理其庞大的数据库方面面临着重大挑战。该公司专有的 Identity GraphTM 解决方案平均每秒向其 3TB 数据库发出 150,000 至 200,000 次调用，这一数字在高峰时段甚至可能超过。面临的挑战是在不影响系统性能的情况下处理如此巨大的负载。随着 Ekata 在全球范围内扩展其身份数据集，对更好的解决方案来管理此负载而不影响性能并保持较低运营成本的需求变得越来越明显。

Flowdesk 是一个面向数字资产发行人的金融技术服务平台，它面临着促进对存储全球金融数据的订单簿进行亚秒级访问的挑战。这需要一个高可用性、低维护的数据库服务，能够与 Google Cloud 生态系统集成、支持 Terraform 并启用 VPC 对等互连。随着 Flowdesk 交易服务的发展，基础设施团队意识到他们需要更强大的数据库和缓存系统来支持实时交易和做市活动。他们寻求一种覆盖全球的基于云的数据库，可以轻松地在多个国际区域之间同步数据。该团队还需要维持严格的区域间数据可用性标准，期望实现 99.999% 的正常运行时间。

一家旅游和酒店行业的财富 500 强公司每年为 4000 万客户提供服务，面临着以高度安全和合规的方式管理客户信用卡信息的挑战。该公司的合规团队需要一个高度可用、符合 PCI 规范的解决方案来管理信用卡安全代码（也称为 CVV 或 CSC 代码）。该解决方案必须满足严格的要求，例如在内存中运行、存储的信息在短时间内过期以及加密支付数据以确保 CVV 代码与其他持卡人信息之间的关联性最小化。 COVID-19 大流行进一步加速了对该解决方案的需求，推动该公司对其应用程序和基础设施（特别是电子商务支付平台）进行现代化改造。

HackerRank 是一个为招聘开发人员提供预筛选、技术评估和远程面试解决方案的领先平台，它面临着需要一个快速、可扩展、可靠、需要最少维护和配置的数据平台的挑战。这对于公司专注于创新并履行其成为每位工程师技术能力的唯一真实来源的使命至关重要。此外，HackerRank 需要一个实时排行榜来展示顶尖开发人员。该公司正在使用多种解决方案来拼凑一个数据层，这对于其不断增长的需求来说既不高效也不可持续。

HealthStream 是一家为医疗机构提供基于 SaaS 的软件解决方案的提供商，在确保为客户提供最佳性能方面面临着重大挑战。该公司的 SaaS 模型利用微服务和云组件，由于一些客户面临的地理距离和网络挑战，需要最大限度地缩短服务器处理时间。鉴于数十万名医疗保健专业人员每天使用他们的平台 hStream™，提供高性能的需求至关重要。随着 HealthStream 平台的利用率随着时间的推移而增长，该公司的产品架构师必须决定是添加更多硬件来满足其可扩展性需求（这只是临时解决方案），还是创造性地思考平台的架构和设计。

iFood 是巴西和哥伦比亚流行的食品订购和配送服务，在维持其机器学习 (ML) 模型的性能方面面临着重大挑战。该公司的成功与这些模型的性能直接相关，这些模型需要快速处理数据以降低成本、增加收入并影响实时交互过程中的用户行为。 COVID-19 大流行为电子商务公司，特别是准备处理不断增加的订单量的在线送货服务提供了独特的机会。在 iFood，技术团队必须管理数百万新用户和数千家加入其平台的新餐厅。尽管业务量激增，iFood 仍然致力于为客户提供最佳体验。

德国足球出版物《踢球者》面临着重大挑战，因为其网站和移动平台不断吸引新读者。该公司现有的技术堆栈已达到性能极限，无法满足不断增长的需求。 kicker.de 网站每月产生超过 20 亿次页面展示，每年增长率超过 15%。该网站的移动版本以及 Kiker 的应用程序也经历了惊人的增长。随着受众的不断增长，公司现有技术堆栈的性能限制变得显而易见。技术团队意识到需要智能缓存解决方案来保持性能和用户满意度。