全闪存存储的历史性时刻到来!
Gartner最新数据显示,2023年第一季度全球外部存储市场同比增长0.5%;其中,全闪存阵列同比增长3.6%,市场规模超过非全闪存阵列,占整个外部存储市场收入的50.4%。
这标志着数据存储市场的拐点已来临。过去几年,全球经济和市场经历了大的动荡与变化,全闪存存储依然能穿越周期和保持增长,实属难能可贵。
与此同时,随着千行百业的数字化转型步入深水区,数据已然成为数字化时代的核心生产要素、战略资源以及价值创造的基础,大数据、机器学习、大模型等新应用的蓬勃发展,既带来PB级容量、千万IOPS、智能化管理等全新的数据存储需求,也加速驱动着一个全闪存时代的到来。
全闪存为何能当道
很长一段时间内,外部存储系统领域一直都是传统机械硬盘唱主角,直到2008年闪存才正式在高端存储系统中得到应用。2010年左右,Violin Memory、PureStorage、XtremIO等大批全闪存阵列初创公司的出现,标志着全闪存系统浪潮的兴起。
从传统机械硬盘到闪存,不仅仅是介质的一次升级,更意味着数据中心基础设施的一次重构。众所周知,传统机械硬盘近年来陷入技术瓶颈,在容量密度、性能等方面增长缓慢,使得基于机械硬盘的传统存储系统愈发难以满足各种应用的数据存储需求;相反,基于闪存的全闪存储具备高密度、高可靠、高性能、低延迟、低能耗等特征,逐渐成为数据中心基础设施的主力军。
归根结底,用户在数据存储需求层面发生的根本性变化,是推动全闪存储逐渐获得用户青睐的一大动因,也使得全闪存在数据中心等基础设施领域彻底打开市场局面:
其一、全闪存适用的应用场景正呈现出多点开花的局面。过去,人们普遍认为全闪存只适合那些要求百万IOPS和毫秒延迟的数据库等核心业务场景;事实上,当前全闪存所承载的业务场景远比过去丰富,除了数据库、ERP、虚拟化等传统业务应用之外,像自动驾驶、大模型、大数据分析、分布式数据库等新兴应用均是首选全闪存。
例如,在各种大促场景中,很多金融机构用户会利用全闪存来应对短时间内的流量高峰;在智慧医疗场景,医院会通过全闪存来支撑起多台医疗设备对于PACS系统同时连续写入,为各种人群提供良好的体验;在大模型训练场景,频繁从数据集读取Token非常容易形成实时高并发的海量小IO,需要全闪存的大带宽、高IOPS来匹配业务需求……
其二、应用场景对于数据实时性的需求正变得极度渴望,也让全闪存如鱼得水。众所周知,"天下武功唯快不破",在数据成为价值创新基础的今天,企业对于业务决策、产品研发、用户体验优化等也是"快"字当头,直接驱动着对于数据存储性能的需求。
以当前已在智能客服、生物识别、互联网金融、精准营销等场景中广泛落地的AIGC为例,其在金融虚拟客服应用场景中,往往模型参数达到千亿级,原始数据高达PB级,具有持续的低延时和高带宽等业务特性,全闪存在大模型训练和推理场景中发挥着关键作用,AIGC领域的用户们几乎清一色选择全闪存。
其三、数据中心近年来设备数量大幅增加,无形中增加了数据中心运维管理的成本与复杂性,并对于基础设施的可靠性带来了更多风险,而在同等性能与容量的情况下,全闪存无疑能够带来更有效且精简的基础设施,并且具备比传统存储设备更高的可靠性。
其四、随着双碳目标的提出,越来越多企业有着节能降耗的压力。在相同容量、相同性能的情况下,全闪存存储的设备数量、能耗和空间要远低于基于机械硬盘的存储系统。相关数据预测,到2025年,数据中心能耗将占全球总能耗4.5%,这其中数据存储又是数据中心的能耗大户,采用全闪存来降低能耗已经成为越来越多用户的选择。
除了用户需求层面的驱动外,全闪存在闪存介质、接口协议、软件架构以及应用生态支持等方面也取得长足进步和全面蜕变,真正实现了内外兼修和软硬兼施,契合数据存储需求的变化。
技术生态迎来全面蜕变
某种程度而言,数据存储需求的变化与闪存技术的发展就像一场双向奔赴,彼此获得价值实现的同时,也让数据中心基础设施获得彻底重构。在这场双向奔赴中,全闪存储就像一股催化剂,加速了重构的速度与范围。
具体来看,闪存性能虽出众,但成本一直相对较高,这与很多用户持续的数据增长需求不匹配。为此,闪存介质近年来飞速发展,在容量和成本上获得大幅突破。最新QLC SSD容量最高达到惊人的61.44TB,容量增长速度远超传统机械硬盘;另外,闪存成本也在持续下降,IDC预测SSD每GB价格预计在2020-2025年以19%的年复合增长率下降,预计到2025年会低于2.5寸10000转机械硬盘的价格。
事实上,今年以来,多家企业级存储厂商均表示会推出基于QLC SSD的全闪存储,有望进一步推动闪存成本的下降。
除了闪存价值之外,全闪存储也推动数据中心接口与网络协议获得了脱胎换骨般的变化。众所周知,传统SATA/SAS等接口协议均是在传统机械硬盘时代的产物,无论是带宽、延迟等等均无法与闪存介质的高性相匹配。因此,NVMe协议近年来获得迅速发展,NVMe大幅提升带宽、可连接性和传输性,产业链上下游推动NVMe成为数据中心主流协议,像NVMe Over Fabrics等存储网络也获得飞速发展。
在软件层面,企业级存储厂商过去多年里一直致力于基于闪存的软件架构和堆栈功能的重塑,逐步实现了复制、重删等功能在闪存环境下的重新设计与持续优化;在生态层面,像操作系统、分布式数据库等厂商也加大了对于闪存环境的匹配。
此外,为了最大限度的发挥闪存性能、容量和成本的优势,有一部分企业级存储厂商率先行动,近年来全力推动闪存全栈化技术创新策略的落地。其中,浪潮信息就是典型代表。
为实现闪存极致性能的发挥,浪潮信息将核心能力深入到存储部件级,从SSD高速存储介质、存储软件到全闪系统进行全链条的联调优化。这种闪存全栈化的创新策略,让闪存性能潜力发挥无死角,并真正带来闪存成本的下降,实现性能与成本的最优。例如,浪潮信息已经构建起基于闪存原生的iTurbo 智能加速引擎,加上盘控协同、ZNS数据分流等技术、ROW追加谢、全局垃圾数据回收算法等技术,能够实现性能的持续提升以及每GB成本大幅下降。得益于闪存全栈创新策略,浪潮高端全闪HF18000、分布式存储AS13000等多次在SPC-1性能测试中夺魁。
更加重要的是,用户侧对于生成式AI的快速普及,人工智能正在成为数据中心基础设施发展未来最大的牵引力,随着GPU等算力部署的深入,以全闪存、混闪为代表的存力重要性日渐上升,从数据容量、带宽、访问频率以及成本等多个因素综合考量,未来数据中心在实践中需要形成算力、闪存和混闪的1:1:1黄金比例,以满足人工智能等需求。
生成式AI分为数据归集、数据准备、数据训练、数据推理和数据归档5个阶段。从业务架构来看,从一开始的获取原始数据到数据清洗、拼接、标记,再到数据并行、在线推理部署到最后的数据迁移归档,都对数据存储提出了不同的要求,例如小文件读写、大文件逐行写顺序写、大文件读一次加载等。数据归集和准备阶段更多地要求大容量、多协议共享,数据训练和推理阶段更多是对百万级IOPS、100GB带宽的要求,数据归档阶段则需满足冷数据的迁移、长期保存和归档。根据需求不同,在生成式AI全阶段科学合理地布局全闪、混闪存储是关键。例如,从性能角度来看,英伟达官方建议,一台GPU算力节点设备的最高要求写带宽要求20GBps,读带宽要求40GBps,而一个全闪存节点写带宽是20GBps,读带宽在20-50GBps,计算节点与全闪存节点的数量比例接近1:1;另外,从数据容量和访问频率来看,一个模型系统中80%的数据会由热变冷,还需要长期保存训练过程中多个CheckPoint文件,契合热数据与温冷数据容量配置1:10的规律,而一个全闪存节点容量通常为50-100TB,一个混闪节点的容量通常为500-1000TB,按照1:1来配置全闪节点和混闪节点,无疑从数据全生命周期维度保障了人工智能应用各种阶段的需求。
因此,像以浪潮信息为代表的全闪存厂商,今年开始力推数据中心GPU算力、全闪存、混闪形成1:1:1黄金比例的建设模式,以数据中心用户侧需求变化为核心目标,加速推动全闪存产品与技术在数据中心中的应用,为未来的AIGC、大模型等人工智能应用夯实基础。
无疑,近年来产业界最大着力点就是从数据中心技术生态和需求生态出发,从各种维度推动全闪存在数据中心的普及,甚至在全闪存储中优先融入像机器学习、人工智能、云原生等先进技术,让全闪存储率先走向智能化管理与运维,进一步提升全闪存储的易用性,从而加速全闪存时代的到来。
全闪存市场未来还得看中国
为什么全闪存市场未来还得看中国?
当前,全球外部存储市场近年来受到各种因素波及,出于较为稳定的状态,非全闪存储则出现了持续下滑,全靠全闪存来支撑整体市场的平稳。IDC预测认为,未来五年全闪存将以7.5%的年复合增长率增长。可以判断,未来全闪存会继续加速替代非全闪的步伐,营收占比还将持续提升,而市场的核心焦点会在中国市场。
之所以会如此,首先是中国全闪存储的市场潜力不可小觑。相关数据显示,欧美成熟市场的全闪存比例已较高,替代非全闪的潜力空间逐渐变小,中国全闪存储的市场占比当前仅仅只有25%左右,,未来在金融、政府、电信、制造、交通、医疗、能源等行业有着广泛的应用前景。
事实上,随着中国数字经济占比持续提升,产业数字化提速,数据存储在未来依然有着巨大的需求。最新《中国数字经济发展报告(2023)》报告显示,2022年中国数字经济规模达到50万亿元占GDP比重达到41.5%,产业数字化占到数字经济的产业上升到81%,随着数字经济与实体经济的进一步融合,未来必然会加速全闪存储在各个行业业务场景中的应用。
其次,相比于其他竞争对手,中国全闪存储厂商已是当前市场增长的主力军,浪潮信息等厂商在集中式全闪和分布式全闪灯多个细分市场增速明显高于市场平均增速。以浪潮信息为例,Gartner数据显示,在今年第一季度中,浪潮信息存储全闪存出货装机容量以10.4%的全球市场份额,位列全球前三、中国第一;IDC数据则表明,浪潮信息第一季度销售额和出货量位居中国前二,出货量同比大幅增长310%,增长速度领跑市场。
第三,中国规模庞大且复杂的业务场景更有利于全闪存产品的锤炼与成长,这两年中国全闪存储产品在各种权威测试中的优异表现就是一种体现。例如,中国制造业正在加速升级,在业务场景中开始大量融入物联网、机器视觉、AI等技术,不仅产生大量的实时数据,还需要进行敏捷分析,全闪存的性能、容量等优势在场景中发挥着关键作用;在运营商领域,运营商正加速向云服务等业务转型,需要一个高性能、大容量的全新基础设施作为数字底座,这其中分布式全闪存起到重要的支撑作用;在自动驾驶领域,每天需要产生海量数据,并对海量数据进行训练,全闪存支撑起自动驾驶从数据处理到训练的多个环节……
正是中国市场这些领先场景的驱动,让中国全闪存储的产品与技术竞争力得以持续提升。以浪潮信息高端全闪存储HF18000为例,其已经广泛应用打金融、运营商、车路协同、自动驾驶等多个业务场景之中,为各种关键业务提供最为可靠的性能保障。
综合观察,全闪存储的市场拐点的确已经到来,一个全闪存的时代离我们越来越近。在闪存成本不断下降和闪存相关技术不断取得突破的趋势下,全闪存储有望进一步在更多业务场景中得到应用。面向未来,IDC预测中国企业级全闪存储市场未来依然会保持着9%以上的增长,中国市场有望引领未来市场的增长;而以浪潮信息为代表的中国全闪存储厂商凭借多年的技术积累与行业实践,未来有望在全闪存储这条赛道中书写中国奇迹。
稿源:美通社