ClickHouse: Powering Darwinium's Security and Fraud Analytics

技术

应用基础设施与中间件 - 数据库管理和存储
基础设施即服务 (IaaS) - 云数据库

适用行业

国家安全与国防
石油和天然气

适用功能

物流运输
产品研发

用例

网络安全
欺诈识别

服务

云规划/设计/实施服务
系统集成

挑战

Darwinium 是一个数字风险平台，在安全和欺诈领域面临着多项挑战。该平台需要以高吞吐量摄取和处理数据，处理大量数据，并具有以复杂方式分析数据的能力。数据库后端需要处理高速写入并在摄取数据后立即提供数据进行分析。 Darwinium 的实时引擎持续分析和监控数字资产，从而产生大量数据。该数据库需要能够大规模分析数据，并可能处理一整年的数据。技术类型的欺诈和安全挑战需要存储大多数数字数据点以供将来调查。分析欺诈数据的本质需要复杂的交互式分析，以及能够在 1 秒或更短的时间内响应的数据库系统，同时提供功能丰富的功能工具箱。

关于客户

Darwinium 是一个数字风险平台，支持实时旅程编排和数字用户身份验证的持续自适应信任。它旨在解决发生的复杂业务问题，适应对手，无论他们攻击的速度有多快。该平台专为开发人员和数据科学家而设计，可以轻松测试、建模和部署，而不受业务流程或组织限制的影响。 Darwinium 与您的内容交付网络 (CDN) 或代理集成，作为 Darwinium 托管的解决方案，或可选的一键安装到新的或现有的 Kubernetes 集群上。

解决方案

Darwinium 在评估了几种解决方案后选择了 ClickHouse 作为他们的数据库引擎。 ClickHouse 的可变引擎简化了数据摄取管道的复杂性，其表引擎的选择导致数据管道更简单。 ClickHouse 可以轻松处理每秒数千次写入，多个数据管道写入器在任何给定时刻写入单个 ClickHouse 服务器。它还支持复杂的数据类型，这是 Darwinium 构建交互式分析的基本要求。 ClickHouse 最近添加的 JSON 类型支持进一步满足了 Darwinium 的分析要求。 ClickHouse 还支持翻转数据保留窗口的概念，其中“热”数据最初可以放置在本地 SSD 等快速访问介质上，随后能够将数据移动到相对较慢但更便宜的存储系统（如 S3）。 ClickHouse 也是云原生的，可以从低端笔记本电脑、本地节点集群运行，或者在任何可能的硬件配置上运行，甚至可以在 AWS 等单一云提供商上运行。

运营影响

ClickHouse's mutable engine simplified the data ingestion pipeline complexity, and its choice of table engine led to simpler data pipelines. It also supported complex data types, which was a fundamental requirement for Darwinium to build upon for interactive analytics. ClickHouse's recent addition of JSON type support further met the analytics requirements of Darwinium. ClickHouse also supported the concept of tumbling data retention windows, where “hot” data could be initially placed on a fast access medium like a local SSD, with the ability to subsequently move the data to a relatively slower but cheaper storage system like S3. ClickHouse was also cloud-native, and could be run from a low-end laptop, an on-premise cluster of nodes, or on any of the myriad hardware configurations possible even on a single cloud provider like AWS. This made ClickHouse a cloud native offering for Darwinium use cases.

数量效益

ClickHouse could easily handle a few thousand writes per second, with multiple data pipeline writers writing to a single ClickHouse server at any given instant.
ClickHouse server side metrics showed a consistent and very low (<5%) user space and system space core usage while the write operations alone were being executed.
ClickHouse can utilise all of the cores available on a single node that it is running on to process a query.