全球最权威、影响力最广的AI基准测试MLPERF发布了Storage V1.0 AI基准测试结果,华为OceanStor A800全新AI存储在全球厂商中脱颖而出,总性能、每节点性能、每U性能均是全球第一。
MLPerf benchmark是一个衡量人工智能硬件、软件和服务性能的标准化基础测试平台,它由图灵奖得主大卫•帕特森(David Patterson)联合谷歌、斯坦福、哈佛大学等顶尖企业和学术机构成立,是权威性最大、影响力最广的国际AI性能基准测试。为了紧跟行业前沿,MLPERF每年发布基准测试数据,获得全球广泛认可。其中,3D U-Net工作负载测试匹配业界多模态大模型趋势,对存储带宽要求最高,能够更全面、更准确地反映存储在大规模AI集群的性能表现。
本次存储性能测试共有业界主流的13厂商参与,通过运行一个分布式训练测试程序,模拟GPU计算过程,最大程度还原AI服务器对存储系统的访问模型。以模拟AI存储系统能够支撑的最大GPU数量,来评估存储系统测试性能表现。其中3D U-Net工作负载每FLOPS算力所需存储带宽最高,且数据需要从存储节点读取,不允许提前在主机上缓存,能够真实体现存储系统性能,实际体现大模型存储体验。
本次获得存储性能测试全球第一的AI存储——华为OceanStor A800,通过单台设备成功满足了255张GPU模拟训练的数据吞吐需求,GPU利用率保持90%以上,单框稳定带宽高达679 GB/s,是传统存储性能的10倍。平均每节点提供高达340GB/s带宽,每U提供高达85GB/s的带宽,分别是第二名2.88倍和1.44倍,体现了OceanStor A800全面领先的竞争力。同时可以通过OceanStor A800大规模横向扩展提供百TB级带宽,checkpoint读写时间从10分钟缩短至秒级,断点续训时间小于15分钟,极大减少GPU等待,端到端算力利用率提升30%+,全面提升大模型训练效率。首次参与即在MLPerf Storage V1.0基准测试性能榜单登顶,这一成就不仅彰显了华为数据存储技术的卓越实力,更标志着华为数据存储在业界又达成一个关键里程碑。
华为数据存储深耕细作,持续创新,推出全新OceanStor A系列AI存储。面向AI场景混合负载,基于全新硬件,打造架构领先的存储系统,具备卓越性能、EB级弹性扩展、推理长记忆等能力,全面加速AI大模型训推业务。
面向未来,华为AI存储在AI大模型领域将持续深耕,不断突破性能极限,驾驭AI大模型数据浪潮,引领数据未来。
来源:华为