- 分析与建模 - 大数据分析
- 平台即服务 (PaaS) - 应用开发平台
- 时间敏感网络
- 数据科学服务
美国跨国计算机软件公司
客户是一家美国跨国计算机软件公司,其颠覆性创新正在重新定义数字体验的可能性。客户连接内容和数据并引入新技术,使创造力民主化,塑造下一代故事讲述方式,并激发新的业务类别。
该客户已启动一项多年计划,重点是将其大数据平台从 Cloudera Hadoop On-Prem 实例迁移到 Azure 上的 Cloudera 数据平台 (CDP)。作为第一步,他们希望探索当前状态下优先考虑的 MapReduce 作业,并考虑在将工作负载迁移到 Azure 云之前迁移到 Spark。
他们最初使用 Hadoop Map Reduce 引擎和 Hive 查询 (HQL) 创建了一个解决方案。当前设置面临以下挑战:
- 代码执行速度较慢
- 更高的存储要求
- 难以维护工作流程
- 他们设想的更新解决方案应该解决上述所有问题,并希望采用改进的方法来处理大数据。他们正在寻找可以支持他们将已识别的 MapReduce 作业转换为 Spark 的合作伙伴,因为他们希望减少作业的执行和处理时间,因为这会影响他们的业务绩效。
- 最终,它将使他们能够将他们的大数据平台从 Cloudera Hadoop On-Prem 实例迁移到 Azure 上的 Cloudera 数据平台 (CDP)。
WinWire 与客户合作,采用两个优先作业 [LTV 和 AES] 将 MapReduce 作业转换为 Spark。这些被归类为高复杂性工作。
WinWire 团队将 MapReduce 代码无缝转换为 Spark 代码。这种转变使客户能够更快地处理数据并通过将执行时间减少 50% 以上来提高工作的整体性能。
使用的技术:Hive、Spark -2.4、Scala – 2.11、IntelliJ Idea Community Edition – 2021.1、Unravel、Hive Shell、Spark2-shell、CDH – 5.16、GitHub
Case Study missing?
Start adding your own!
Register with your work email and create a new case study profile for your business.