Power massive scale, real-time data processing by modernizing legacy ETL frameworks

技术

分析与建模 - 实时分析
应用基础设施与中间件 - 数据交换与集成
平台即服务 (PaaS) - 数据管理平台

适用行业

安全与公共安全

适用功能

离散制造
质量保证

用例

边缘计算与边缘智能
预测性维护
实时定位系统 (RTLS)

服务

云规划/设计/实施服务
数据科学服务

挑战

企业需要实时分析来自各种来源的大量数据，以做出战略性业务决策。他们通常会创建自定义框架来处理这些大型数据集，这可能会导致技术债务，并依赖了解初始平台设计期间所做历史选择的 IT 团队。这可能会影响业务并增加定制成本。该客户是一家领先的安全和情报软件提供商，希望对其现有的大数据应用程序进行现代化改造。他们正在寻找一种易于使用且可扩展的解决方案，可以处理每天从多个实时源生成的 15 亿笔交易。他们需要一种几乎零代码的解决方案来执行 ETL 处理作业，该解决方案可以执行实时提取和复杂处理，在索引和存储时确保高吞吐量，并检测交易中的异常。

关于客户

客户是一家领先的安全和情报软件提供商。他们专注于为联邦和州级安全机构创建强大的情报和调查技术。他们的解决方案使安全机构能够通过拦截通信数据、数据集成和高级数据分析来了解网络威胁，这些分析利用大数据上的人工智能模型。他们希望对现有的大数据应用程序进行现代化改造，并需要一个可扩展的解决方案，以处理每天从多个实时源生成的 15 亿笔交易。

解决方案

客户使用 Gathr 实现了在可扩展 Spark 计算引擎上运行的应用程序，作为结构化流数据管道。Gathr 庞大的数据采集、处理、丰富和存储组件库用于 ETL 解决方案。整个数据流是在 Gathr 的 Web Studio 中使用低代码方法创建和编排的。涉及的关键技术和组件包括用于实时流式传输数据的 Kafka、用于数据处理的 Gathr 开箱即用的 ETL 组件以及用于创建 Polyglot 架构的 Gathr 处理器和存储组件。还使用了快速应用程序开发平台 ClearInsight。新解决方案取代了使用各种实时和非阻塞 I/O 处理框架构建的传统解决方案，并解决了诸如开发周期长、无法通过配置更改改变处理行为、调试和纠正过程耗时、缺乏版本管理和热插拔功能、操作复杂以及对数据可用性和查询结果的严格 SLA 等挑战。

运营影响

Replaced roughly ~1 million lines of code in ~3 weeks using Gathr frameworks.
Achieved a high throughput of 100000+ transactions/second, enabling processing of 1.5 billion records per day.
Reduced the overall release cycle from 8 months to 8 weeks.

数量效益