通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时( 二 )


但更为重要的是,诸如基因这样的数据,隐私安全是非常值得注重的一环,而也正因为数据量的爆发式增长,使得数据安全管理、存储和分析变得异常困难 。
团队在面对这些挑战所选择的突破口,并不是大多数人以为的强行堆算力,而是用底层数据存储的飞跃来做到提速 。
简单来说,就是通过把以往不能合并处理的海量数据,打破它们之间的壁障,让整体的处理效率“更上一层楼” 。
具体而言,他们所提出的解决方案便是大规模多组学数据并行加速分析平台 。
据介绍,华西医院在这项工作中主要负责顶层设计,包括多模态组学数据分析和基因应用等 。
华为在存储方面,提供高性能数据存储和基因数据管理系统的技术支持 。
……
而纵观整个流程,数据存储的环节最为重要,可以说是贯穿始末:
基因测序阶段:存储系统需要足够的稳定性,来保障过程不被中断;
基因数据分析阶段:要有足够处理小文件等任务的能力;
数据归档阶段:能够将基因数据长期、安全、完整地保存起来 。
由此可见,存储系统就像是一根“定海神针”,牢牢地把握着海量数据任务的“命脉” 。
那么接下来的一个问题便是——团队此次能够打破世界纪录,它的专属“定海神针”又是什么?
世界顶级选手在背后发力
不卖关子,团队在这项任务中的存储系统,便是来自华为面向高性能数据分析(HPDA)的分布式存储OceanStor Pacific系列 。
通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时
文章图片

它是一种可大规模横向扩展的智能分布式存储,可以hold住高性能计算、AI应用、数据库、大数据分析和海量数据备份归档等业务需求 。
而OceanStor Pacific之所以能协助团队在此次任务中打破世界纪录,是因为它自身就是头顶“世界顶级选手”光环的那种存储系统 。
在国内范围来看,更是独秀一枝,不论是整体、文件存储、对象存储还是块存储方面,都是稳居市场第一 。
而且不仅是市场方面的表现,从性能榜单上来看亦是如此 。
这不,就在前不久IO500 (高性能计算领域针对存储性能最权威世界排行榜之一)发布的最新榜单中,华为存储HPDA Lab(由华为OceanStor Pacific存储支撑)位列第二 。
通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时
文章图片

那么问题来了,OceanStor Pacific系列存储凭什么?
从官方对它的介绍中,我们挖到了一条线索,那便是“新一代”:
通信技术|中国团队首次将人类全基因组分析缩短至分钟级 此前需要24小时

推荐阅读