下载PDF
ClickHouse > 实例探究 > 借助 ClickHouse 对 Disney+ 进行高速内容分发分析
ClickHouse Logo

High-Speed Content Distribution Analytics for Disney+ with ClickHouse

技术
  • 基础设施即服务 (IaaS) - 云计算
  • 基础设施即服务 (IaaS) - 云中间件与微服务
适用行业
  • 建筑物
  • 建筑与基础设施
适用功能
  • 物流运输
用例
  • 最后一英里交付
  • 时间敏感网络
服务
  • 系统集成
挑战
Disney+ 的可观察性团队面临着处理和分析其内容分发系统的访问日志的挑战。该团队必须处理 Disney+ 用户生成的大量数据,这需要高度扩展的分布式数据库系统。现有的解决方案,例如Elasticsearch、Hadoop和Flink,无法有效处理海量数据。例如,Elasticsearch 需要大量的重新平衡并使用 Java 虚拟机,从而添加了不必要的虚拟化层。由于数据的大小,该团队正在努力获取所有日志。
关于客户
本案例研究中的客户是 Disney+ 内的 Observability 团队。该团队负责管理支持 Disney+ 内容分发系统的外围系统。他们使用视频数据的访问日志来帮助识别延迟等任何问题。该团队必须处理 Disney+ 用户生成的大量数据,这需要高度扩展的分布式数据库系统。最初,由于数据的大小,该团队在摄取所有日志方面遇到了困难,但在选择 ClickHouse 后,他们已经能够高效地处理和分析日志。
解决方案
Disney+ 的 Observability 团队选择 ClickHouse 作为处理和分析访问日志的数据管道。由于 ClickHouse 的简单性、单二进制设置和轻量级架构,因此选择了 ClickHouse。当前集群由 20 个节点组成,具有 2X 复制功能,提供 160 TB 存储和 2.5 TB RAM。此设置允许团队每秒写入 300 万行 CDN 访问日志,每秒读取 20 亿行 CDN 访问日志。该团队计划升级到具有 32 个节点、每个节点 154 TB、112 个核心的更大集群,这将显着提高他们的数据管理能力。 ClickHouse 的设置就像 HTTP 服务器一样,使其灵活且易于使用。该团队还建议使用 JSON 或键等于值等格式的非结构化日志,以使系统更加灵活。
运营影响
  • The adoption of ClickHouse has significantly improved the efficiency of Disney+'s Observability team. The lightweight architecture of ClickHouse has enabled the team to handle the massive amount of data generated by the users of Disney+. The team has been able to write 3 million rows a second and read 2 billion rows a second of CDN access logs. The planned upgrade to a larger cluster will further enhance their data management capabilities. The flexibility of ClickHouse, set up like an HTTP server, has made it easy to use. The team has also been able to make the system more flexible by using unstructured logs in formats like JSON or key equals value.
数量效益
  • Able to write 3 million rows a second
  • Able to read 2 billion rows a second of CDN access logs
  • Current setup provides 160 terabytes of storage and 2.5 terabytes of RAM

相关案例.

联系我们

欢迎与我们交流!

* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

Thank you for your message!
We will contact you soon.