据官网消息,12月19日,首个全国产千卡千亿模型训练平台——KUAE智算中心揭幕仪式在北京成功举办,宣告国内首个以国产全功能为底座的大规模算力集群正式落地。与此同时,摩尔线程联合国内众多合作伙伴发起并成立了“摩尔线程PES - KUAE智算联盟”和“摩尔线程PES - 生态联盟”,共同夯实从智算基础设施到训练与推理的国产一体化生态,持续为我国大模型产业发展加速。
本文引用地址:据官方介绍,摩尔线程KUAE智算中心解决方案以全功能为底座,是软硬一体化的全栈解决方案,包括以KUAE计算集群为核心的基础设施、KUAE Platform集群管理平台以及KUAE ModelStudio模型服务,旨在以一体化交付的方式解决大规模算力的建设和运营管理问题。该方案可实现开箱即用,大大降低传统算力建设、应用开发和运维运营平台搭建的时间成本,实现快速投放市场开展商业化运营。
摩尔线程KUAE支持包括DeepSpeed、Megatron-DeepSpeed、Colossal-AI、FlagScale在内的业界主流分布式框架,并融合了多种并行算法策略,包括数据并行、张量并行、流水线并行和ZeRO,且针对高效通信计算并行和Flash Attention做了额外优化。
目前,摩尔线程支持包括LLaMA、GLM、Aquila、Baichuan、GPT、Bloom、玉言等各类主流大模型的训练和微调。基于摩尔线程KUAE千卡集群,70B到130B参数的大模型训练,线性加速比均可达到91%,算力利用率基本保持不变。