Databricks' Transition from Data Silos to a Unified Data Lakehouse

技术

分析与建模 - 机器学习
分析与建模 - 预测分析

适用行业

教育
设备与机械

适用功能

销售与市场营销
仓库和库存管理

用例

拣选/分拣/定位
时间敏感网络

服务

数据科学服务

挑战

Chris Klaczynski 是 Databricks 的营销分析经理，其任务是支持推动管道生成、扩大数据库和提高投资回报率等主要营销目标。然而，随着 Databricks 的迅速扩张，对集中化和记录数据的需求变得越来越明显。数据孤岛出现在企业周围，包括克里斯的营销团队，数据存储在自己的数据仓库中。为克里斯新建的仪表板提供可靠、及时的数据对于营销运营保持平稳运行至关重要。然而，如果没有专门的工程资源，并且面对迅速扩大的营销团队，根据需求进行扩展几乎是不可能的。 Databricks 的传统数据仓库面临着许多挑战，包括 Salesforce 和 Marketo 管道的问题、将数据本地附加到现有表的问题，以及总是破坏管道的架构更改，导致中断和陈旧、不可信的数据。

关于客户

Databricks 是一家以帮助数据团队解决世界上最大的挑战而自豪的企业。它由 Apache Spark、Delta Lake 和 MLflow 的原始创建者于 2013 年创立。 Databricks 基于云中的现代 Lakehouse 架构构建，结合了最好的数据仓库和数据湖，为数据和人工智能提供开放且统一的平台。该公司迅速扩张，导致需要集中和记录的数据。然而，数据孤岛出现在企业周围，包括营销团队，数据存储在自己的数据仓库中。

解决方案

Chris 开始寻找一种低代码、交钥匙解决方案，为他的团队提供所需的可靠管道。他决定了一个三点战略：走出数据工程“丛林”，进入洞察和预测分析领域，聘请分析师和数字中小企业，而不是数据工程师和 DevOps，实现数据管道自给自足，并利用 Delta 和 AutoML 。 Fivetran 作为满足 Chris 数据管道需求的解决方案立即脱颖而出。在试用该产品时，设置快速而简单。 Chris 的团队现在使用 Fivetran 从所有核心营销源系统引入数据：Marketo、Salesforce、Facebook Ads 和 Google Analytics。到达湖屋后，Chris 的团队将数据与产品和中心团队的其他来源结合起来，以有意义的方式对其进行转换，以运行数据科学、机器学习并生成重要的 Tableau 仪表板以进行分析。

运营影响

By bringing on Fivetran to handle data ingestion, Chris freed up time to build a full suite of Tableau dashboards that answer the most common questions that his marketing team face, saving his team time and allowing them to focus on adding value with three Data Science and machine learning projects. The downstream impacts of Chris’ decision making are already being felt internally at Databricks. Customer Service and Customer Success have seen how easy the process has been and are asking for more use cases and connectors to be switched on. Access to reliable data has been critical for marketing account managers, who are now more accountable for the forecasts they are making. Increased visibility through sophisticated dashboards has made it easier for teams to track and rapidly act on campaign performance.

数量效益

Transitioned from a team of one to a team of five within two years
Fivetran saves Databricks over 40 hours a month in engineering time – the equivalent of a part-time Data Engineer
Supports a rapidly growing data team of analysts and leaders who deliver crucial insights to over 90 marketers