20分钟上线200节点!元脑服务器操作系统KOS AI定制版为大模型部署提速

发布时间:2024-10-30 08:58  

当前,随着生成式人工智能和各行业的应用快速融合,大模型在企业端被越来越多的采用,以提高效率、降低成本、增强创新能力。大模型开发首先要解决的,便是训练环境的搭建问题,在算力多元异构、依赖库众多、配置步骤繁琐的情况下,如何快速搭建满足要求的训练环境,为底层算力平台匹配最佳驱动,避免依赖库及配置庞杂导致训练环境鲁棒性低的问题,成为各类大模型开发企业需要面对的挑战。

为此,浪潮信息推出「元脑服务器操作系统KOS Al定制版」(简称KOS Al定制版),通过简单2步即可实现大模型训练环境部署,以搭建200节点训练环境为例,过往需要数天时间才能完成,通过KOS AI定制版20分钟即可完成上线可用,极大提升了大模型开发部署效率。

https://mma.prnasia.com/media2/2542794/1.jpg?p=medium600
大模型训练环境复杂 面临兼容适配等多项挑战

当前阶段,大模型的发展仍然遵循Scaling Law,不断增加的参数规模、训练数据量以及计算资源,也让大模型的部署环境变得十分复杂。大模型部署是一个系统性的问题,涉及到算力设备兼容、依赖库配置、繁琐的安装步骤等等多个方面。

在硬件方面,算力设备的多样性增加了兼容适配复杂性。在大模型训练环境中,集成了多种类型和规格的算力设备,如不同型号的GPU、高速互连网络、高性能分布式存储等。这些设备在硬件架构、指令集和接口标准上存在差异,导致与操作系统、应用软件以及其他硬件设备的兼容适配变得极为复杂,同时驱动和应用软件选型不当将影响算力输出效率。

在软件方面,依赖库及配置的庞杂性对训练环境的鲁棒性构成威胁。大模型训练依赖大量的软件库、框架和配置参数,这些依赖项之间存在着复杂的依赖关系和严格的版本兼容性要求。一旦某个依赖项出现问题,如版本不匹配、配置错误或缺失,都可能导致训练环境崩溃或性能急剧下降。

在部署方面,大模型训练环境搭建流程比较繁琐。算力支持层面,在确定GPU、网卡等硬件设备基础上,需要安装操作系统、下载硬件驱动并对驱动进行编译;应用软件方面,下载安装CUDA、Cudnn、DCGM等AI软件栈,以及相关管理和监控软件。最后,还要运行相关Benchmark对系统进行性能摸底。

KOS Al定制版  "2步"搞定大模型训练环境部署

针对用户在大模型部署中遇到的困难,浪潮信息推出KOS Al定制版,实现了覆盖驱动和应用软件编译、镜像文件构建、系统发布与部署的镜像开发全流程创新, 解决了部署大模型训练环境中遇到的硬件兼容适配、依赖项庞杂及安装部署流程繁琐等问题,让大模型部署化繁为简。

针对硬件兼容适配挑战,浪潮信息KOS技术团队凭借深厚的技术沉淀和经验积累,遴选出十余款GPU和infiniband卡的最佳驱动,验证不同硬件环境下的软件兼容性,优化BIOS、底层驱动、文件系统和网络等多项指标,实现平台资源利用效率最大化。目前KOS已经与1200+硬件板卡、250+服务器整机、400+数据库中间件完成兼容性认证。

面对软件依赖库庞杂的问题,KOS Al定制版对镜像构建过程中的软件包安装列表进行了扩展,并优化了软件包的集成范围和安装顺序,解决软件安装依赖问题,确保在集成大量软件的情况下,操作系统能够顺利完成安装,且保证系统安装完成后,驱动和应用软件能够正常进行编译和安装。同时,面对AI大模型训练过程中某些应用软件体积庞大,无法直接构建为rpm包集成至镜像的挑战,采用"软件切割与再聚合"技术,将超大型软件包进行分割,并在聚合后校验其哈希值,以确保软件的一致性,从而有效解决了超大软件集成难题,实现了超大应用软件的自动化安装。

大模型部署的关键是单节点环境配置。在简化发布与部署方面,为了解决大模型训练集群单节点环境配置复杂的问题,KOS技术团队开发了一套环境配置自动化部署脚本。该脚本能够智能检测操作系统的启动状态,只在系统安装完成后的首次重启时自动运行,确保在不同节点上快速部署大模型运行环境。在此之后的系统启动中,该脚本将不再执行,从而实现集群环境中单节点环境的自动部署。

https://mma.prnasia.com/media2/2542795/2.jpg?p=medium600
用户依托KOS AI定制版,仅需2步即可实现大模型训练环境快速部署。

步骤1:利用PXE实现自动化系统部署

KOS AI定制版集成了大模型训练环境部署所需的驱动、应用软件和依赖库等,用户只需要把该定制版镜像当作普通镜像一样进行自动化部署,通过PXE方式实现操作系统自动化安装。

步骤2:正常开机启动,完成环境部署

定制版镜像安装完成后,通过管理节点向计算节点下发重启指令,计算节点重启后,大模型训练环境部署即可完成。

https://mma.prnasia.com/media2/2542796/3.jpg?p=medium600
面对操作系统与AI结合的趋势,KOS定位智算时代最AI的操作系统,全面优先拥抱AI,深度融合AI能力。KOS Al定制版简化了大模型部署流程,通过Al定制版部署大模型训练环境具有简单高效、广泛兼容和运行稳定等特点,大幅降低了用户开发大模型的技术门槛。

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>