下载PDF
IBM > 实例探究 > 快速传输提高了生命科学界研究数据的可访问性
IBM Logo

Fast transfers improve research data accessibility for life sciences community

技术
  • 应用基础设施与中间件 - 数据交换与集成
适用行业
  • 生命科学
适用功能
  • 产品研发
服务
  • 数据科学服务
挑战
GigaScience 是一本在线开放获取、开放数据生命科学杂志,发表涵盖广泛生物和生物医学科学的“大数据”文章。该杂志将与每篇已发表文章相关的完整数据集托管在综合公共数据库 GigaDB 中。但是,为支持 GigaScience 杂志上发表的文章而提交的数据集大小可达数 TB。GigaScience 发现 FTP 不适合移动大文件,因为传输速度通常非常慢,如果用户遇到网络问题,则必须从头开始重新传输。此外,由于网络延迟高,长距离传输特别耗时且不可靠。有一次,GigaScience 面临着上传 15 TB 肝癌数据集的挑战。排除 FTP 后,GigaScience 必须将数据加载到 8 个硬盘上,并将其从提交者物理传输到杂志,这是一个成本高昂且耗时的过程。
关于客户
GigaScience 是一本在线开放获取、开放数据生命科学期刊,由 BGI 和 BioMed Central 联合出版。该期刊发表“大数据”文章,涵盖生物和生物医学科学的方方面面,包括基于难以获取的数据的领域,如成像研究、神经科学和系统生物学。该期刊接受和发表的所有手稿都侧重于大规模数据集的使用、分析或工具开发。GigaScience 旨在为数据密集型科学研究的可重复性问题提供解决方案。GigaScience 的目标是使研究可重复和可重复使用、研究文章透明化以及大规模数据易于访问和引用,它将与每篇已发表文章相关的完整数据集托管在一个综合公共数据库 GigaDB 中。它还为每个数据集提供了一个“数字对象标识符”,使人们更容易找到他们正在寻找的文件,并为人们在重复使用或再现研究时直接引用数据提供了手段。
解决方案
为了处理如此庞大数据集的传输,GigaScience 采用了一套 IBM Aspera 软件产品,为作者、审阅者和其他用户提供工具,以最快速度上传和下载稿件附带的所有大型数据集。GigaScience 选择 IBM® Aspera® Connect Server 将提交稿件附带的所有数据集快速传输到 GigaScience 数据库,并使用 IBM® Aspera® Console 管理和监控整个端到端传输过程。作者使用 Aspera 的免费下载 Aspera Connect 插件将稿件相关数据集提交到 GigaScience 的私人数据存储站点。然后,工作人员审阅者使用浏览器插件访问文件,以高速下载和上传文件。如果论文被接受发表,数据将通过 Aspera 传输到期刊的公共数据库 GigaDB,期刊读者可以随时查看和下载数据,同样使用 Aspera Connect 插件。
运营影响
  • Fast transfers: Using Aspera’s Connect Server, uploads and downloads to GigaDB are accomplished at maximum speed, regardless of file size, transfer distance, or network conditions.
  • Ease of use: With an intuitive web-based interface and the self-installing Aspera Connect plug-in, Aspera provides ease of use for every user of GigaDB, no matter the level of computational expertise.
  • Reliability: With automatic resume and retry for partial or failed transfers, GigaScience and its users are confident their transfers will complete dependably.
数量效益
  • Large data sets are uploaded in hours instead of days.
  • With high-speed transfers, GigaScience can review, accept, and publish manuscripts more quickly and return their decisions to the submitter within their target of two weeks.

相关案例.

联系我们

欢迎与我们交流!

* Required
* Required
* Required
* Invalid email address
提交此表单,即表示您同意 IoT ONE 可以与您联系并分享洞察和营销信息。
不,谢谢,我不想收到来自 IoT ONE 的任何营销电子邮件。
提交

Thank you for your message!
We will contact you soon.