Fueling Growth with Predictive Models and Improved Customer Experience: A Case Study on Explorium

技术

平台即服务 (PaaS) - 应用开发平台
机器人 - 并联机器人

适用行业

建筑物
水泥

适用功能

质量保证
仓库和库存管理

用例

楼宇自动化与控制
时间敏感网络

服务

测试与认证

挑战

Explorium 是一家将组织数据与世界上最可靠的数据源集成以进行预测建模和明智的业务决策的公司，它面临着挑战。该公司正在寻求最大限度地减少数据延迟，并将其数据工程师从构建 ELT 管道的任务中解放出来。 Explorium 的平台确定数据的特征并确定其可以进行的潜在丰富。然而，尽管后端面临技术挑战，该公司仍难以快速加载正确的数据。该公司使用 Amazon EMR 来运行其 ELT 管道，但意识到其数据工程师花费了太多时间来构建这些管道。这减缓了新数据产品的发布以及新数据集加载到其平台的速度。

关于客户

Explorium 是一家技术公司，帮助组织找到正确的数据、构建预测模型并做出明智的业务决策。它将客户的数据与世界上最可靠的来源相集成，创建了一个基于这些数据源的强大平台。该公司将这两种资产结合成一个有价值的产品。 Explorium 的客户依靠该平台根据自己的特定需求丰富其现有的业务数据。该公司的平台确定数据的特征，并确定其可以丰富的潜力。上传大量数据集的客户可以在几个小时内看到结果，而上传较小数据集的客户可以立即看到丰富的结果。

解决方案

为了克服这些挑战，Explorium 实施了 Databricks Lakehouse 平台和 dbt。 Databricks 为 Delta 表提供了自动缩放功能和复杂的库，使公司的工程师无需优化表和检查文件大小。这些任务在 Databricks 中实现自动化，这节省了工程师的时间，让他们能够专注于构建基础设施。 Explorium 现在遵循徽章架构，该架构描述了将存储在 Lakehouse 中的三个不同质量的数据层。为了将原始数据加载到青铜层中，Explorium 使用 Databricks Auto Loader。为了将经过验证的数据加载到银层中，该公司在 SQL 中构建了一个转换。对于属于黄金层的丰富数据，Explorium 从 Delta Lake 表中提取数据并将其提取到仓库或数据库中。然后，Explorium 平台将直接从该数据库或仓库检索数据并将其提供给客户。 dbt 提供测试功能，同时无需让数据工程师参与帮助解决集群定义和大小、连接到 AWS 资源的权限以及其他复杂需求。

运营影响

The implementation of Databricks Lakehouse Platform and dbt has significantly improved Explorium's operations. The company's engineers are now free from optimizing tables and checking file sizes, allowing them to focus on building infrastructure. The use of Databricks Auto Loader and SQL transformations has streamlined the data loading process, ensuring the right data is loaded quickly. The use of dbt has also ensured thorough testing of pipelines before deployment, eliminating the need for data engineers to assist with complex needs. This has resulted in a faster release of new data products and an increase in the number of data sets brought online. Overall, the new system has led to a better experience for Explorium’s customers.

数量效益