潞晨科技Colossal-AI + 浪潮信息AIStation,大模型开发效率提升10倍

发布时间:2024-03-04 09:00  

近日,潞晨科技Colossal-AI大模型开发工具与浪潮信息AIStation智能业务创新生产平台完成兼容性互认证。基于AIStation平台部署与调度的潞晨科技Colossal-AI系统,用户可实现在本地算力平台一键训练、微调、推理、部署大模型,将大模型开发效率提升10倍以上,并将算力效率提升2-3倍,在最大化提升大模型开发效率的同时,降低大模型开发及应用的门槛和成本。

Colossal-AI系统由元脑生态伙伴潞晨科技开发,是全球最大、最活跃的大模型开发工具与社区之一。Colossal-AI包含高效多维并行、内存管理、低延迟推理系统等模块,可显著提高AI大模型训练、微调和部署效率。以当前被广泛使用的LLaMA大模型为例,Colossal-AI提供开箱即用的650亿参数预训练方案,可将训练速度提升38%,仅需32张GPU卡。Colossal-AI发布后多次登顶GitHub热度榜世界第一,目前已与PyTorch、Hugging Face等全球顶级AI生态深度融合,位列全球TOP400,细分赛道世界第一,并且已与国内外多家500强企业合作,促进AI大模型在自动驾驶、云计算、零售、医药、金融等领域落地。

1.jpg

本次兼容性测试完成了Colossal-AI异构内存管理系统、高效自动N维并行系统、低延时推理系统等核心模块在AIStation平台上的验证测试。测试结果表明,Colossal-AI框架在浪潮信息AIStation平台上运行稳定、性能表现优异,满足双方兼容性认证的各项标准,在ChatGPT等大模型训练场景下,可将算力效率提升2-3倍,训练/推理速度提升10倍以上。浪潮信息AIStation平台为上层AI大模型开发提供了资源管理、任务调度、运维管理等能力,能够帮助用户更快速灵活地获取本地AI算力,让计算平台更好地支持Colossal-AI高效运行。

2.jpg

Colossal-AI携手浪潮信息AIStation,将为AI大模型应用开发提供开箱即用、更快速、高性能、低损耗的本地化解决方案,大幅提升AI大模型训练、微调、推理、部署的效率,并降低AI大模型的开发成本和计算资源需求。

浪潮信息AIStation是面向企业级训练与推理场景开发的智能业务生产创新平台,实现从模型开发、训练、部署、测试、发布、服务的全流程一站式高效交付。通过对计算资源、数据资源、深度学习软件栈资源进行统一管理,AIStation为环境构建、模型开发、模型训练、模型评估、模型推理、上线部署全链条全面提速,加快AI开发应用创新落地。AIStation基于资源管理调度、平台流程支持能力,在异构芯片、创新生产工具、行业伙伴应用、客户方案等不同层面,与元脑合作伙伴展开了大量适配对接认证工作,并积累了大量的适配对接经验、模式与方案,成为了元脑生态的重要承载平台。

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>