技术咨询
代买器件
商务客服
研发客服近日，潞晨科技Colossal-AI大模型开发工具与浪潮信息AIStation智能业务创新生产平台完成兼容性互认证。基于AIStation平台部署与调度的潞晨科技Colossal-AI系统，用户可实现在本地算力平台一键训练、微调、推理、部署大模型，将大模型开发效率提升10倍以上，并将算力效率提升2-3倍，在最大化提升大模型开发效率的同时，降低大模型开发及应用的门槛和成本。
Colossal-AI系统由元脑生态伙伴潞晨科技开发，是全球最大、最活跃的大模型开发工具与社区之一。Colossal-AI包含高效多维并行、内存管理、低延迟推理系统等模块，可显著提高AI大模型训练、微调和部署效率。以当前被广泛使用的LLaMA大模型为例，Colossal-AI提供开箱即用的650亿参数预训练方案，可将训练速度提升38%，仅需32张GPU卡。Colossal-AI发布后多次登顶GitHub热度榜世界第一，目前已与PyTorch、Hugging Face等全球顶级AI生态深度融合，位列全球TOP400，细分赛道世界第一，并且已与国内外多家500强企业合作，促进AI大模型在自动驾驶、云计算、零售、医药、金融等领域落地。
本次兼容性测试完成了Colossal-AI异构内存管理系统、高效自动N维并行系统、低延时推理系统等核心模块在AIStation平台上的验证测试。测试结果表明，Colossal-AI框架在浪潮信息AIStation平台上运行稳定、性能表现优异，满足双方兼容性认证的各项标准，在ChatGPT等大模型训练场景下，可将算力效率提升2-3倍，训练/推理速度提升10倍以上。浪潮信息AIStation平台为上层AI大模型开发提供了资源管理、任务调度、运维管理等能力，能够帮助用户更快速灵活地获取本地AI算力，让计算平台更好地支持Colossal-AI高效运行。
Colossal-AI携手浪潮信息AIStation，将为AI大模型应用开发提供开箱即用、更快速、高性能、低损耗的本地化解决方案，大幅提升AI大模型训练、微调、推理、部署的效率，并降低AI大模型的开发成本和计算资源需求。
浪潮信息AIStation是面向企业级训练与推理场景开发的智能业务生产创新平台，实现从模型开发、训练、部署、测试、发布、服务的全流程一站式高效交付。通过对计算资源、数据资源、深度学习软件栈资源进行统一管理，AIStation为环境构建、模型开发、模型训练、模型评估、模型推理、上线部署全链条全面提速，加快AI开发应用创新落地。AIStation基于资源管理调度、平台流程支持能力，在异构芯片、创新生产工具、行业伙伴应用、客户方案等不同层面，与元脑合作伙伴展开了大量适配对接认证工作，并积累了大量的适配对接经验、模式与方案，成为了元脑生态的重要承载平台。
稿源：美通社
相关文章
