下载PDF
ClickHouse > 实例探究 > 使用 ClickHouse 构建统一数据平台:Synq 案例研究
ClickHouse Logo

Building a Unified Data Platform with ClickHouse: A Case Study on Synq

技术
  • 分析与建模 - 机器学习
  • 平台即服务 (PaaS) - 应用开发平台
适用行业
  • 建筑物
  • 水泥
适用功能
  • 产品研发
  • 质量保证
用例
  • 楼宇自动化与控制
  • 时间敏感网络
服务
  • 系统集成
  • 测试与认证
挑战
Synq 是一个数据可观察性平台,面临着管理为其软件系统提供支持的复杂性、多样性和不断增加的数据量的挑战。该公司需要将运营和分析需求合并到一个统一的数据平台中。他们正在处理来自数十个系统的连续数据流,当客户运行大型批处理作业或新客户加入时,数据量会频繁爆发。该公司为回填数据设定了雄心勃勃的性能目标,并希望在客户使用产品时立即为他们提供价值。他们还希望有一个基础设施能够为其第一组定义的用例提供服务,并提供快速支持新用例的功能。最后,他们的目标是构建一个单一平台,可以存储原始日志数据,并充当应用程序和 API 所需的大多数数据用例的服务层。
关于客户
Synq 是一个数据可观测平台,可分析来自复杂数据生态系统的日志级数据。它是一个大型日志处理引擎,可以从数十个系统中摄取和处理数据。该平台旨在提供与 ClickHouse 集群的深度集成,具有检测延迟数据加载和发现隐藏数据异常的功能。它还提供自动创建的数据沿袭和用于管理数据质量的工具。 Synq 为 Typeform、Instabee 和 LendInvest 等公司的团队提供服务,帮助他们监控云数据堆栈。
解决方案
Synq 在 ClickHouse(一种高性能的面向列的数据库管理系统)中找到了应对挑战的解决方案。经过几天的测试,他们发现 ClickHouse 每秒可以摄取数万行,创建特定于查询的数据模型,并在高摄取负载下保持一致的读取查询性能。为了让整个开发团队专注于平台的研发,他们与 ClickHouse Cloud 合作。他们使用官方维护的 Go 客户端 clickhouse-go 构建了一个可靠的摄取系统。他们还利用 ReplacingMergeTree 表引擎来处理重复事件。为了优化性能,他们创建了专门的表,将原始日志数据转换为针对查询优化的格式。他们还使用流行的数据转换框架 dbt 来创建审计表,以提取有关其日志数据的汇总统计信息。最后,他们使用 ClickHouse 集群作为许多其他用例的骨干,包括应用内分析。
运营影响
  • The use of ClickHouse has allowed Synq to fully merge their operations and analytics storage, enabling them to think about their system in terms of use cases, knowing that they have a performant data platform and other necessary building blocks to support them. The ability to control underlying storage engines, ingest mechanics, or query settings has given them extreme control over their storage, which has so far handled any use case they had in mind with performance that can support interactive user-facing experiences. Materialized views and integration with dbt have given them a lot of flexibility to quickly develop new data use cases without any extra ETL code or large migrations. This has made development extremely efficient and has allowed them to provide immediate value to their customers.
数量效益
  • ClickHouse could ingest tens of thousands of rows per second
  • Maintained consistent read query performance under heavy ingest load
  • Optimized complex analytical queries down to <100ms milliseconds latency

相关案例.

联系我们

欢迎与我们交流!

* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

Thank you for your message!
We will contact you soon.