中安链控IPFS从技术入围走向商业突围 分布式存储逐步进入核心关键应用

2021-09-14 22:36:01 IPFS

曾经的存储市场,是集中式存储的天下,主要的应用需求,也大都是核心数据库、虚拟化整合一类,数据量并不十分庞大,却要求极致IOPS和时延性能的应用。

而曾经的分布式存储呢?对不起,那个是高性能计算才用到的……至于NAS(网络附属存储),大概就是一个存放图片和视频的文件服务器吧……


分布式存储的崛起

但是当我们观察近年来的存储市场数据,我们会发现,SDS软件定义存储市场增长率远超过TESS传统存储。


IDC数据显示,SDS市场占比从2018年H1的8.5%提高到2020H2的21.6%;与此同时,传统集中式存储的市场份额从79%下降到了59.8%。IDC预计2021-2025年SDS市场的复合增长率将达到23.4%,2025年市场空间将达到325亿。


分布式存储市场增长的动力主要来源于数字化转型的深入,以及随之带来的数据爆炸式增长。IDC数据显示,到2025年,全球数据总量将激增至175ZB,其中85%都是非结构化数据。

但分布式存储的快速增长,仅仅是因为非结构化数据的容量增长吗?




重新定义核心关键应用

随着数字化转型深入,我们会发现经常提到的“核心关键应用”,在今天有了全新的定义。

5G、人工智能、自动驾驶、基因测序、芯片EDA等非结构化数据的实时处理应用不断涌现,并且在企业业务中处于日益关键的位置,同样成为企业的“核心关键应用”,同时也对分布式存储提出了新的需求:


极致的大集群高带宽:尤其是面对来自自动驾驶、AI 、广电8K超高清等边写边读的大性能需求,传统架构往往力不从心


快速的海量小文件处理效能:尤其面对来自金融、医疗的4K~8K的海量小文件,传统架构经常会成为瓶颈


新型块存储需求:

传统架构的高时延显然也无法解决核心业务的高标准要求,差距往往在一个数量级


存储协议兼容的需求:

随着业务变化频率的增加,存储的协议兼容、协议转换必须更加灵活,单纯的仅支持一种服务一种协议,已难以满足业务的变革需求

绿碳通证GCT,绿谷联社,绿碳链盟

分布式存储的进化

这四个需求,是摆在传统架构的分布式存储面前的四座大山。而其中海量小文件性能和时延这两个问题尤其凸出,几乎挡死了分布式存储走向核心应用的道路,为了解决这些问题,紫光股份旗下新华三集团提出了解决之道:SCM+NVMe全新架构!

掉电也不会丢失数据的SCM可以大大缓解海量小文件写入的性能问题,实现手段是通过将诸多4K、8K、16K等海量小文件打包整合成大文件的方式,将整合完成的大文件再顺序落盘,大大提升了小文件性能。

而解决IOPS和时延的问题,主要靠的则是NVMe介质的力量,结合软件上的全面优化,可以跨越式的进一步降低读写IO的时延。