浪潮信息《有数 高端对话》:大模型时代存储变革,产学研用共探新局

发布时间:2024-12-24 09:30  

在当今数字化浪潮汹涌澎湃的时代背景下,大模型技术犹如一颗璀璨的明星,照亮了科技发展的广阔苍穹,而存储技术的变革,作为这一进程中的坚实基石,正日益成为产业界与学术界共同瞩目的核心焦点。

为此,浪潮信息联合DOIT推出《有数•高端对话》栏目,分布式存储产品线总经理姜乐果及DOIT传媒主编李祥敬,与特邀嘉宾上海交通大学吴晨涛和中科闻歌陈思含共同围绕大模型的存储需求变化,展开了一场深度对话。深入探讨大模型时代背景下数据存储的变革之道,共话数字经济的创新发展,进一步夯实数据基础设施,充分释放数据资源的巨大价值,为广大行业同仁及用户提供价值参考与启示。

https://mma.prnasia.com/media2/2586706/image_1.jpg?p=medium600
大模型驱动存储变革

大模型技术的迅猛发展对存储系统提出了极为严苛的要求。以GPT-4为例,其参数量达到了2200亿,每张GPU配备的HBM显存带宽达1.6TB/s,整体训练所需的显存容量接近400TB。根据Meta等公司的调研数据显示,大模型在运行过程中会频繁遭遇内存故障,平均每2-3小时便可能导致一次训练中断,这无疑对存储系统的安全可靠性提出了极高的标准。吴晨涛教授以GPT-4等前沿模型作为实例,清晰阐明了大容量HBM显存、高带宽以及高可靠性是存储系统不可或缺的三大核心特性。

同时,从宏观角度出发,吴教授呼吁建立开放的数据生态。在这一生态中,通过强化监管与隐私保护,旨在打破数据孤岛,促进数据的流动与共享,为高质量数据的充分涌流开辟道路,从而为行业大模型的发展提供持续不断的动力。

作为存储厂商的代表,姜乐果从存储技术进化的视角出发,详细阐述了在大模型驱动下,传统计算与当前智算中心存储设施的全方位变革。在性能层面,智算中心对存储性能的要求已从百GB级跃迁至TB级,与算力协同攀升;在容量维度,存储系统已从PB级大步迈向EB级,轻松应对海量数据洪流的冲击。同时,数据格式与协议的多元化与复杂性日益显著,这对存储系统突破兼容壁垒提出了迫切需求。

姜乐果还展示了企业在数据要素市场的积极布局与创新探索。浪潮信息紧跟政策导向,与多方合作伙伴携手,深入挖掘行业需求,精心研发端到端的解决方案及高性能存储新品。例如,新一代分布式存储平台AS13000G7系列产品在MLPerf™ AI存储基准评测中表现出色,在3D-UNet(医学图像分割)和CosmoFlow(宇宙学参数预测)两个应用场景共计8项测试中,斩获5项全球第一,彰显强大的性能实力,为行业大模型数据存储难题提供有力支撑。

中科闻歌作为一家专注于复杂数据解析和AI辅助决策的人工智能公司,陈思含分享了中科闻歌在大模型实践中的宝贵经验。在大模型的发展历程中,存储需求经历了显著的动态演变:从早期对训练速度的追求导致存储性能需求激增,到参数量膨胀带来的数据量与参数规模指数级增长,再到多模态数据处理对存储复杂性的严格要求,以及混合读写模式和多样化应用场景引发的多元化需求。

数据质量作为行业大模型发展的核心驱动力,中科闻歌在此方面进行了创新实践。集成了全球多语言媒体数据的闻海大数据平台,运用跨模态AI技术融合信息,构建了垂直领域知识库,并提供模块化的智能大屏工具。这一平台不仅具备全球范围内高效、安全获取和处理高质量数据的能力,还成为训练大模型所需高质量数据的主要数据源和知识库。

在为客户提供大模型落地产品和系统时,中科闻歌采取了混合模式,即结合公司自身海量数据与用户的私有行业数据进行模型训练和应用构建,确保了客户的数据安全,避免了数据出域的风险。

协同创新下的趋势展望

展望未来存储发展,吴晨涛教授立足学术前沿,前瞻性地预判了关键技术走向。他认为,跨域资源调度共享技术,特别是基于CXL协议的内存池创新,将打破资源限制,实现全域资源的灵动调配。同时,优化元数据管理将提升数据检索与处理效率,而内存故障预测及Checkpointing技术则能确保系统稳定运行,最大限度地减少故障对数据处理连续性和完整性的影响。这些技术的迭代升级将为存储技术的发展指明方向。

作为存储厂商的代表,浪潮信息积极拥抱变革,从Storage for AI深度适配需求,到AI for Storage智能赋能提效,再到与大模型企业紧密合作,精准挖掘系统性能潜能,为用户提供更贴合业务的产品。

作为大模型企业的代表,中科闻歌致力于打造高效、安全和可靠的存储系统,以适应大模型时代的新要求。在架构上,采用存算分离架构部署AI-Ready数据基础设施,以加速智能应用。在效率提升方面,全闪存存储凭借其卓越性能成为破局关键,能够加速数据流转,激活数据价值。而在安全防护层面,中科闻歌构建主动防御体系,从内核强化存储安全,筑牢安全防线。

此次对话栏目的成功举办,不仅搭建了产学研用之间的沟通桥梁,还为各方的深度合作提供了宝贵的机会。各方代表能够相互交流思想、碰撞火花,共同探讨大模型时代下的存储技术变革。这一举措为产学研用四方携手共进创造了难得契机,共同迎接大模型时代带来的存储变革浪潮,推动我国存储产业的繁荣发展。

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    社区已经拥有超过3000名开发者,打造了"AI剧本杀"、" 心理咨询AI陪练"、"AI反诈""金陵诗会"等爆款应用,推出了对话、问答、翻译、古文等技能大模型(Skill Model)。浪潮信息基于"源"大模型......
    训练过程。大模型在巨量算力、海量数据和高效平台等方面的超高门槛,成为了当前AI领域众多初创企业、创新团队、大学或研究机构进行生成式AI研发创新方面的主要障碍。而这也正是浪潮信息推出......
    训练时始终处于最佳状态。在算力调度部署上,面对大模型系统级开发过程中所存在的调度难、部署慢、效率低、集群异常等问题,浪潮信息推出AIStation智能业务创新生产平台,通过全生命周期的一体化监控及调度系统,构建起完备的模型......
    训练时始终处于最佳状态。 在算力调度部署上,面对大模型系统级开发过程中所存在的调度难、部署慢、效率低、集群异常等问题,浪潮信息推出AIStation智能业务创新生产平台,通过全生命周期的一体化监控及调度系统,构建起完备的模型......
    辅助创作、音乐辅助创作、美术设计、互联网搜索推荐等业务场景,取得了显著的业务效果。浪潮信息推出的AI算力服务产品,涵盖国际和国内领先的4种AI算力产品、经"源"清洗验证过的语言或多模态的大模型数据集的2种数......
    辅助创作、音乐辅助创作、美术设计、互联网搜索推荐等业务场景,取得了显著的业务效果。 浪潮信息推出的AI算力服务产品,涵盖国际和国内领先的4种AI算力产品、经"源"清洗验证过的语言或多模态的大模型数据集的2......
    的对话能力和智能涌现能力,为提升智能客服的用户交互体验,增强业务敏捷性和持续动态的可进化能力指明了新方向。 "源2.0"是浪潮信息推出的基础大模型,包括1026亿、518亿、21亿等三种参数规模的模型......
    的对话能力和智能涌现能力,为提升智能客服的用户交互体验,增强业务敏捷性和持续动态的可进化能力指明了新方向。"源2.0"是浪潮信息推出的基础大模型,包括1026亿、518亿、21亿等三种参数规模的模型,在对......
    使训练效率达到极致,减少不必要的资源浪费,算力和存力需要均衡配置,训练阶段的数据读写性能成为发挥存力最大作用的关键。而想要提升存储效率、降低模型训练成本,必须要在存储技术上进行创新。对此,浪潮信息推出基于AS13000G7......
    阶段的数据读写性能成为发挥存力最大作用的关键。而想要提升存储效率、降低模型训练成本,必须要在存储技术上进行创新。对此,浪潮信息推出基于AS13000G7的AIGC存储解决方案,该方案通过浪潮信息AIStation人工......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>