浪潮信息AS13000G7荣获MLPerf™ AI存储基准测试五项性能全球第一

发布时间:2024-09-29  

9月25日,MLCommons协会发布最新MLPerf™ Storage v1.0 AI存储基准测试成绩。浪潮信息分布式存储平台AS13000G7表现出众,在3D-UNet和CosmoFlow两个模型共计八项测试中,斩获五项冠军

MLPerf™ Storage v1.0 AI存储基准测试成绩

MLPerf™ Storage v1.0 AI存储基准测试成绩

MLPerf™ 是影响力最广的国际AI性能基准评测,由图灵奖得主大卫•帕特森(David Patterson)联合顶尖学术机构发起成立。2023年推出MLPerf™ 存储基准性能测试,旨在以架构中立、具有代表性和可重复的方式衡量机器学习(ML)工作负载的存储系统性能。该测试通过准确建模ML工作负载所产生的I/O模式来帮助解决存算平衡问题,为不同存储系统和不同加速器类型的混合和匹配提供了灵活性,为ML/AI模型开发者选择存储解决方案提供权威的参考依据。

本次MLPerf™ 存储基准评测(v1.0)吸引了全球13家领先存储厂商和研究机构参与。该评测围绕医学影像分割、图像分类、宇宙学参数预测三大AI存储应用场景,采用主流的3D-Unet、ResNet50、CosmoFlow三类模型,在GPU利用率高达90%或70%的条件下,以带宽和支持的模拟 GPU (模拟加速器)数量为关键性能指标,评估单客户端或集群模式下存储系统的性能表现。

本次测试,浪潮信息采用3台AS13000G7搭建分布式存储集群,搭载ICFS自研分布式文件系统,在3D-UNet和CosmoFlow两大评测任务中共获得五项最佳成绩。其中,在图像分割3D-UNet多客户端2评测任务中,服务于10个客户端264个加速器,集群聚合带宽达到360GB/s,单个存储节点的带宽高达120GB/s;在宇宙学分析CosmoFlow单客户端2和多客户端2评测任务中,分别提供了18 GB/s和52 GB/s的带宽最佳成绩。

近年来,浪潮信息基于存算协同的理念,持续加大存储研发投入,从整体架构到各技术栈持续创新,优化升级存力,提升了GPU算力整体性能表现,实现了模型训练数据处理的即时性,消除了GPU资源闲置(即"饥饿GPU"现象),全面提升大模型训练效率。

  • 架构层面,采用全新数控分离架构。数据面和控制面完全解耦,控制面实现数据管理和访问,数据面读写操作直通到盘,达到120 GB/s的单存储节点的超高性能,单存储节点支撑5台8卡计算节点规模,同时计算集群GPU利用率90%以上;

  • 软件层面,通过多路并发透传技术,有效减少I/O操作中频繁的上下文切换,降低单次I/O时延50%,同时达到高并发下时延稳定性。本次测试中1430个高并发读线程支撑下,保证每个线程单次I/O的时延均在0.005秒,AI端到端训练中I/O占比低于10%。此外,通过元数据VRANK技术,达到单个元数据进程多单元并发处理,提供高性能元数据服务;

  • 软硬协同层面,通过内核亲和力调度,I/O请求动态调整,增强文件系统与计算节点亲和性,确保负载均衡,将数据移动与多核CPU之间的访问效率提升400%。

浪潮信息是全球领先的存储供应商,存储装机容量连续3年稳居全球前三、中国第一,是承载中国用户数据最多、数据存力贡献最大的存储厂商。近年来,浪潮信息积极拥抱AI生态,专注于构建面向人工智能的存储平台,通过精准优化存算资源配置与持续强化技术创新,全面推进AI产业化和产业AI化进程,力争打造AI存储的理想之选。

稿源:美通社

文章来源于:电子创新网    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。
服务
平台入驻

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

原厂代理商合作

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

闲置物料合作

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

生态合作

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

加工与定制类服务商合作

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

线上代理合作

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

邮件营销及广告服务

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>