浪潮信息助力淮海智算中心,千亿参数AI大模型训练算力效率超50%

发布时间:2023-02-20  

近日,淮海智算中心携手浪潮信息进行了超大规模参数AI大模型训练性能测试,实测数据表明,千亿参数规模的自然语言AI单体大模型在淮海智算中心计算平台上的训练算力效率达53.5%,刷新了业内AI大模型训练算力效率新高。这意味着淮海智算中心将可为国内生成式AI创新团队提供高性能、高效率的AI大模型训练算力服务。

生成式AI需要基于海量的自然语言或多模态数据集,对拥有巨大参数的超大规模AI模型进行训练,其训练所需AI算力当量非常高,如以PD(Petaflops-Day)为单位来衡量,OpenAI的GPT-3大模型训练的算力当量为3640PD,而浪潮"源1.0"大模型的算力当量则为4095PD。

超大规模AI大模型的训练一般必须在拥有成百上千加速卡的AI服务器集群上进行,如何在AI计算集群上获得更高的训练算力效率则会直接影响到模型训练时长以及算力消耗成本,这对于提升生成式AI研发创新效率有着非常重要的影响。据公开资料表明,GPT-3大模型在其V100 GPU集群上的训练算力效率为21.3%,而浪潮"源1.0"的训练算力效率则达到了44.8%。

针对AI大模型训练的计算特点,浪潮信息AI团队对淮海智算中心算力系统进行了专业设计,对集群架构、高速互联、算力调度等方面进行全面优化,在系统架构上,采用单节点集成8颗加速器的AI服务器,节点内加速器间实现超高速P2P通信,节点间建立极低延迟、超高带宽的Infiniband通信网络。在大模型训练技术层面,成功运用了中文巨量AI模型"源1.0"的训练优化经验,对分布式训练策略进行了针对性优化,通过合理设计张量并行、流水并行和数据并行,精准调整模型结构和训练过程的超参数,最终实现了千亿参数规模AI大模型的训练算力效率达到53.5%。

1.jpg

千亿参数AI模型结构及其实际性能表现

千亿参数AI模型结构及其实际性能表现

淮海智算中心由安徽省宿州市与浪潮共同推进建设,目标是建成技术先进、架构开放、应用丰富、生态完善的国内领先智算枢纽。淮海智算中心将依靠领先的算力、算法基础设施,开放的技术架构,成熟丰富的生态应用,面向全国提供智能算力、数据和算法服务,打造良好的智算产业生态。

稿源:美通社

文章来源于:电子创新网    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>