Optimizing Genome Pipelines: A Case Study of Wellcome Sanger Institute

技术

应用基础设施与中间件 - 数据库管理和存储
基础设施即服务 (IaaS) - 云存储服务

适用行业

设备与机械
石油和天然气

适用功能

产品研发

用例

时间敏感网络

服务

云规划/设计/实施服务

挑战

Wellcome Sanger 研究所是一家领先的基因组发现中心，在管理其癌症基因组项目生成的大量数据方面面临着重大挑战。每个癌症样本在初步处理后都会产生大约 250GB 的数据，因此需要高效的数据存储解决方案。该团队需要使他们的癌症管道之一变得可移植，并针对云部署进行优化。大多数管道都是在本地计算机上编写和测试的，然后在具有共享存储的计算集群上并行运行。然而，集群上的 I/O 行为非常不同，如果没有全面的 I/O 分析工具，低效的 I/O 模式可能会对存储性能产生负面影响并阻碍其他工作流程。

关于客户

威康桑格研究所是全球公认的基因组发现和理解中心。它在全球范围内引领雄心勃勃的合作，为进一步研究和变革性医疗创新奠定基础。该研究所的癌症基因组计划使用高通量基因组测序来识别体细胞获得性突变，其目标是表征人类肿瘤中的癌症基因、突变过程和克隆进化模式。该研究所处于基因组研究的最前沿，开展基因组项目来寻找癌症的治疗方法，根据英国癌症研究中心的数据，这种疾病将影响 1960 年后出生的人中二分之一的生命中的某个阶段。

解决方案

Wellcome Sanger Institute 采用 Altair Mistral™ 来分析管道并识别低效的 I/O 模式。虽然管道在某些领域进行了优化，但米斯特拉尔揭示了需要进一步改进的领域。它识别出大量小读取，这可能会对计算性能产生负面影响，并在共享存储上创建次优的 I/O 模式。通过优化这些小读取，存储可以以最大带宽运行，同时对其他作业的影响最小。该团队还使用 Altair Breeze™ 分析 Amazon Web Services (AWS) 云中的容器化工作负载。 Breeze 认为默认存储选项比更快、更昂贵的选项提供了最佳价值。

运营影响

The use of Breeze and Mistral I/O profiling tools led to significant time and cost savings for the Wellcome Sanger Institute during a complex and high-value project. The profiling work allowed the Institute's team to optimize its pipeline, making it portable and easy to run. The team was able to identify and implement 'easy wins' that could only have been discovered by measuring with the right tools. This optimization became increasingly important when scaling up to full genomes run in parallel, where speed and cost savings are paramount. The tools also helped the team make informed decisions about storage options, leading to significant cost savings without compromising performance.

数量效益

Saved 10% of project costs by choosing a less expensive storage option without compromising performance.
Reduced run time from 32 hours to 18 hours.
Optimized pipeline to handle large amounts of memory, profile file I/O, and avoid small reads and writes.