Databricks > 实例探究 > 使用 Delta Live Table 和结构化流媒体简化数据集成并确保数据质量

使用 Delta Live Table 和结构化流媒体简化数据集成并确保数据质量

Databricks Logo
技术
  • 平台即服务 (PaaS) - 应用开发平台
  • 机器人 - 并联机器人
适用行业
  • 医疗保健和医院
  • 石油和天然气
适用功能
  • 质量保证
用例
  • 资产跟踪
  • 基于使用的保险
服务
  • 系统集成
关于客户
Collective Health 是一家科技公司,旨在改善雇主承保的超过 1.55 亿美国人的健康保险。他们提供了一个平台,可以简化雇主主导的医疗保健、优先考虑人员体验并帮助管理成本。
挑战
Collective Health 以给定的节奏接收来自合作伙伴的文件,并需要在确保数据质量的同时逐步获取这些文件。
解决方案
Collective Health 使用 Databricks Lakehouse 平台上的 Delta Live Tables 和结构化流来增量摄取文件、验证数据质量并可视化传入记录。
运营影响
  • The implementation of Delta Live Tables and Structured Streaming has significantly improved Collective Health's data integration process. The company can now ingest files incrementally, which saves time and resources. The use of validation tools and pipeline visualization has enhanced the quality of incoming records, ensuring that the data is reliable and accurate. The ability to track occurrences of null values in non-nullable columns has also improved data quality. Moreover, the use of Structured Streaming has optimized the use of compute resources, as the company no longer needs to keep these resources running all the time. Overall, the solution has provided Collective Health with a robust, scalable, and efficient data integration architecture that supports their mission to revolutionize health insurance.

Case Study missing?

Start adding your own!

Register with your work email and create a new case study profile for your business.

Add New Record

相关案例.

联系我们

欢迎与我们交流!
* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

感谢您的信息!
我们会很快与你取得联系。