海量数据推动云计算和IPFS迅速发展,存储器持续向大容量、高性能演进

据IDC预测 , 到2024年 , 全球将创建、复制和消费143ZB的数据 , 其中中国创建的数据为36ZB , 占25% 。这么大的数据存储了多少?西部数据认为只存储不到1.5%的数据 。业界认为这个估计太乐观乐观了 , 存储的数据实际上低于这个比例 。

企业级存储结构面临挑战

为什么会发生这种情况?几年前 , 行业宣传数据是现代石油 , 是发展的动力 。那么多珍贵的石油就这样流失了 , 没有挖掘和分析处理 , 是不是浪费了?

西部数据公司副总裁兼中国区业务总经理刘钢认为 , 这么多数据没有存储的主要原因是存储的结构和存储技术没有及时跟上 , 大部分数据都无法存储和及时使用 。

图:西部数据公司副社长兼中国区业务社长刘钢

即目前企业级存储结构面临着不可避免的挑战 , 数据增长迅速 , 存储性能需求倍增 , TCO负担增加 , 绿色能源消耗系统标准

人们需要大容量、快速访问、成本低、能源消耗低的存储 。那么 , 存储设备和存储介质能同时满足这四个要求吗?

刘钢在不久前的2021深圳国际大数据和存储峰会上 , 能够满足这四个要求的单一存储介质和存储设备确实很难找到 。但幸运的是 , 人们可以通过创新的架构 , 通过系统满足用户各方面、各种存储场景的需求 。因为用户的数据需要分层 , 所以用户的数据类型不同 , 不同类型的数据对存储的要求也不同 。

创新存储结构应对大量数据需求

刘钢认为数据有层次 , 因此将数据分为极热数据、热数据、温数据、冷数据和极冷数据5层 。另外 , 分为各层对应的应用场景 。

不同层数据所需的存储介质和存储设备不同 。例如 , 对于冷却数据和极冷却数据 , 行业目前常用的方案是高密度的大容量企业级硬盘 。

刘钢对媒体表示 , 目前高密度企业级硬盘已经升级到18T 。对于极冷的贮藏 , 西部数据利用软件和技术进行优化 , 采用SMR重叠式硬盘可应用于20T高密度企业 。

关于具体产品 , 刘钢表示 , 20TBUltrastarDCHC650主机管理SMR高DD和16TB和18TBUltrastarDCHC550CMRHDD已于2019年9月发布 , 是优先进入商业化实施阶段的EAMR技术 。通过西部数据HelioSeal技术提供的优秀功耗和机械创新(例如提高头部定位精度 , 提供更大容量功能的TSA) , 这些HD可以提供领先的密度 , 九盘硬盘可以更有效地配置和扩大数据中心环境

单位TB价格($/TB)是存储服务器购买成本的重要组成部分 , 也是构建现代云数据中心的考虑核心 。与$/TB相比 , TCO能够表现出正确的数据中心运营成本:TCO的降低不仅仅是降低$/TB 。每个硬盘的容量越大 , 就意味着更少的服务器存储容量越大 , 从而节省资本和运营成本 。例如 , 从14TB转移到18TB的显着TCO收益:服务器减少了22%的TCO减少了11% 。鉴于数据中心占用空间有限 , 通过更高的HDD容量进行更密集的存储部署 , 还可以产生更多的收入 。

存储服务器的成本通常要求控制在数据中心整体运行成本的60%以内 。事实上 , 更高容量的高密度可以更有效地平衡这一需求 。西部数据持续开展多项技术创新 , 如能源辅助、机械设计、材料和记录技术 , 帮助所有数据中心客户 , 大型企业和中小企业有效应对数据基础结构的挑战 。

图:从左到右依次为:西部数据Ultrastar DC HC550 HDD 16TB、Ultrastar DC HC550 HDD 18TB和Ultrastar DC HC650 HDD 20TB

刘钢还透露了一个消息 , 那就头部的云服务商硬盘在过去4年当中 , 从8T进化到了18T 。IPFS的经营者以更快的速度进化 , 他们在过去的4个季度结束了云经营者过去4年的进化过程 , 从8T进化到了18T 。

图:云服务商与IPFS服务商使用硬盘的演进过程 。

为什么数据中心能快速从8T升级到18T?事实上 , 当数据中心只从14T升级到18T时 , 为了达到相同的存储容量 , 服务器的数量将减少约22% , 不仅服务器的数量将减少 , 存储密度也将增加 , 单位的功耗也将减少约21% , 因此部署成本将降低 , 运输成本也将降低 。

除了大数据外 , 还有一些数据用户需要能够快速访问 , 如热存储、温存储等 。这些数据指的是快速数据 。西部数据把SSD划分成了两类 , 一类是主流的SSD , 还有一类是针对写密集、计算密集的高性能SSD 。

据刘钢介绍 , 西部数据推出全新UltrastarDCSN840NVMebookSSD和UltrastarDCSN640NVMeSSD 。应用于IPFS , 特别是在包装计算机和服务器时使用SSD , 对于IPFS的包装机 , 4个7.68T的SSD可以提供非常好的加速 。

说到SSD , 目前其主要容量点为3.84T和7.68T 。SSD的主要成本是闪存的 , Flash决定了SSD硬盘的成本和性能 。因此 , SSD供应商需要大规模的生产能力 , 在保证供应的同时 , 可以降低成本 , 领先的Flash技术可以提供高性能Flash、自主控制的控制器和部件 , 纵向优化SSD产品 , 提供一致稳定的高性能他指出 。

刘钢还提到了他们刚刚发布的第六代3D闪存技术 , 162层的3D闪存技术 , 该技术将进一步缩小芯片尺寸 , 降低成本 , 提高性能 。其程序性能可提高2倍以上 , 输入/输出的IOPS提高约66% 。

在刘钢看来 , 西部数据最大的优势是纵向整合的优势 。他们不仅有控制器及其固件 , 而且与Flash纵向整合后 , 可以达到非常稳定的一致性 。

与合作伙伴的成功案例

截止目前 , 西部数据已经与许多行业领先的公司合作 , 致力于依靠行业领先的技术和整体解决方案来支持客户和合作伙伴 。

1.Dropbox超大容量企业级HDD全球应用

Dropbox携手西部数据 , 为确保流畅无缝地向SMR转移 , Dropbox对其特定机箱配置进行内部测试 , 采用SMR技术替换原CMR技术后 , 存储密度增加10%-20% , 节省20%TCO 。

作为领先认证Ultrastar20TBSMR-HDD的企业之一 , Dropbox利用数据中心的大容量、高效率和扩展能力 , 应对满足全球企业、团队和个人云存储和服务增长的前沿需求 。Dropbox日前 , 成为西部数据主机管理重叠磁记录的第一批认证SMRHDDD , UltratrArDCHC65020TB的企业之一 。使用西部数据SMRHDD作为定制的EB级存储平台的存储基础 , Dropbox遵循其战略路线 , 使整体成本(TCO)更高 。

西部数据浪潮、星星天合的IPFS解决方案

西部数据浪潮、星星天合多方合作 , 共同发布IPFS解决方案 , 在软件水平上 , 该解决方案门为IPFS场景而生的XSFS系统 , 通过新的存储技术手段 , 基于通用的X86服务器构建了无限扩展、持续在线的高性价比存储系统 , 在保证数据安全的同时 , 降低了IPFS的需求

在硬件层面 , 这一解决方案包含浪潮英信服务器NF546M5西部数据UltrastardDCSN840.SSDUltrastardCHC550硬盘和Ultrastardastardata60JBOD存储平台 。搭载444块/36块大容量的UltrastarDCHC50 , NF5466M5为IPFS存储提供了大容量的存储空间 , 利用硬盘的高稳定性 , 显着降低了提交复印证明书和时空证明书的概率 。

3联手杉岩数据打造IPFS解决方案

杉岩数据联合西部数据 , 共同推出搭载了杉岩 MOS 海量对象存储系统以及西部数据SSD, HDD与JBOD存储平台 , 并针对 IPFS 进行了优化的解决方案 。该系统能够满足算力集群数据写入需要的高吞吐量存储集群性能 , 并对时空证明请求进行了优化 , 使其可以获取多个文件的多段内容 。同时 , 杉岩数据在该方案中部署了EC(222)冗馀技术 , 实现了高达91.6%的存储空间利用率 。

这个解决方案搭载了西部数据UltrastarDCSN840NVMeSD和UltrastarDCD , SN640NVMeSSD , UltrastartDCHC50分钟18TB大容量HDD , 以及UltrastarDATA102JBOD存储平台 , 可以全面满足IPFS存储集群的需求 。由于西部数据存储硬件的优势和杉岩数据的优秀存储系统设计 , 该解决方案有助于IPFS服务提供商显着提高性能、稳定性 , 提高投资回报率 。其中Ultrastar , DCHC550 , HDDD , 18TB的超大容量 , UltrastarData102的组合 , 有助于实现集约空间设计 , 大幅度降低IPFS集群所需的机柜空间、电源消耗、硬件成本 。

【海量数据推动云计算和IPFS迅速发展,存储器持续向大容量、高性能演进】4与长城超云合作制作IPFS新模式

长城超云与西部数据合作制作了与IPFS场景完美匹配的产品级解决方案 , 广泛应用于IPFS行业 。方案主要以西部数据高性能大容量企业级硬盘UltrastarDCHC50系列的18TBThDD为基础 , 设计了Miner、Worker案 , 包括Miner、Worker和Storage , 大幅提高了客户的业务效率通过优秀的产品配置和算法调整 , 整体效率提高了50%以上 , 同时单t有效的计算力硬件成本大幅度降低 。

    推荐阅读