下载PDF
Databricks > 实例探究 > Asurion 的大规模 ETL 和 Lakehouse 实施
Databricks Logo

Large Scale ETL and Lakehouse Implementation at Asurion

技术
  • 平台即服务 (PaaS) - 应用开发平台
  • 机器人 - 并联机器人
适用行业
  • 建筑物
  • 建筑与基础设施
适用功能
  • 维护
  • 产品研发
用例
  • 库存管理
  • 时间敏感网络
服务
  • 系统集成
挑战
由于之前的数据平台缺乏计算和存储分离,Asurion 的企业数据服务团队面临着扩展和成本方面的挑战。他们还遇到了数据重复和同步、逻辑重复、处理晚期数据的不同方式以及数据重新处理困难等问题。之前的平台大规模运行,处理超过 8,000 个表、10,000 个视图、2,000 个报告和 2,500 个仪表板。大型数据集上的传统 ETL 工具仅限于 Day-Minus-1 处理频率。
关于客户
Asurion 是一家为科技产品提供保险和支持服务的公司。他们拥有一支由 10,000 名专家组成的团队,帮助全球近 3 亿人解决技术问题。他们之前的数据平台大规模运行,处理数千个表、视图、报告和仪表板。
解决方案
Asurion 使用 Apache Spark™ 和 Delta Lake 作为新基础实现了 Lakehouse 架构。该架构消除了批处理和速度层,提供近乎实时的延迟,支持多种数据格式和语言,并将技术堆栈简化为一个集成的生态系统。他们使用 Spark Structured Streaming 进行 ETL 作业设计,从而实现灵活的作业配置和简化的状态管理。他们还使用临时集群和作业组实现了 ETL 作业调度解决方案。此外,他们还利用 Databricks SQL 进行数据集市,这为面向用户的 SQL 应用程序提供了更具成本效益的解决方案和简单的 JDBC 连接。
运营影响
  • The implementation of the lakehouse architecture at Asurion resulted in a simplified platform that eliminated batch and speed layers, provided near real-time latency, supported a variety of data formats and languages, and simplified the technology stack into one integrated ecosystem. The new architecture was flexible enough to run thousands of times with different configurations, greatly simplifying state management of each job. The use of Databricks SQL for data marts gave them a more attractive price point and exposed an easy JDBC connection for their user-facing SQL application. This resulted in a more efficient and cost-effective data management system that could handle the massive scale of Asurion's operations.
数量效益
  • The new setup allowed Asurion to run up to 1,000 slow-changing tables on one 25 node cluster.
  • They now have 600 data marts and are growing more in production in their lakehouse.
  • The new architecture was flexible enough to run thousands of times with different configurations.

相关案例.

联系我们

欢迎与我们交流!

* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

Thank you for your message!
We will contact you soon.