美光推出性能更出色的大容量高带宽内存 (HBM)助力生成式人工智能创新

发布时间:2023-07-27  

【导读】Micron Technology Inc.(美光科技股份有限公司,纳斯达克股票代码:MU)今日宣布,公司已开始出样业界首款8层堆叠的24GB容量第二代HBM3内存,其带宽超过1.2TB/s,引脚速率超过9.2Gb/s,比当前市面上现有的HBM3解决方案性能可提升最高50%。美光第二代HBM3产品与前一代产品相比,每瓦性能提高2.5倍,创下了关键型人工智能(AI)数据中心性能、容量和能效指标的新纪录,将助力业界缩短大型语言模型(如GPT-4及更高版本)的训练时间,为AI推理提供高效的基础设施,并降低总体拥有成本(TCO)。


业界首款8层堆叠的24GB容量第二代HBM3,带宽超过1.2TB/s,先进的1β制程节点提供卓越能效


Micron Technology Inc.(美光科技股份有限公司,纳斯达克股票代码:MU)今日宣布,公司已开始出样业界首款8层堆叠的24GB容量第二代HBM3内存,其带宽超过1.2TB/s,引脚速率超过9.2Gb/s,比当前市面上现有的HBM3解决方案性能可提升最高50%。美光第二代HBM3产品与前一代产品相比,每瓦性能提高2.5倍,创下了关键型人工智能(AI)数据中心性能、容量和能效指标的新纪录,将助力业界缩短大型语言模型(如GPT-4及更高版本)的训练时间,为AI推理提供高效的基础设施,并降低总体拥有成本(TCO)。


美光推出性能更出色的大容量高带宽内存 (HBM)助力生成式人工智能创新


美光基于业界前沿的1β DRAM制程节点推出高带宽内存(HBM)解决方案,将24Gb DRAM裸片封装进行业标准尺寸的8层堆叠模块中。此外,美光12层堆叠的36GB 容量产品也将于2024年第一季度开始出样。与当前市面上其他的8层堆叠解决方案相比,美光HBM3解决方案的容量提升了50%。美光第二代HBM3产品的性能功耗比和引脚速度的提升对于管理当今AI数据中心的极端功耗需求至关重要。美光通过技术革新实现了能效的显著提升,例如与业界其他HBM3解决方案相比,美光将硅通孔(TSV)数量翻倍,增加5倍金属密度以降低热阻,以及设计更为节能的数据通路。


美光推出性能更出色的大容量高带宽内存 (HBM)助力生成式人工智能创新


美光作为2.5D/3D堆叠和先进封装技术领域长久以来的存储领导厂商,有幸成为台积电3DFabric联盟的合作伙伴成员,共同构建半导体和系统创新的未来。在第二代HBM3 产品开发过程中,美光与台积电携手合作,为AI及高性能计算(HPC)设计应用中顺利引入和集成计算系统奠定了基础。台积电目前已收到美光第二代HBM3 内存样片,正与美光密切合作进行下一步的评估和测试,助力客户的下一代高性能计算应用创新。


美光第二代HBM3解决方案满足了生成式AI领域对多模态、数万亿参数AI模型日益增长的需求。凭借高达24GB的单模块容量和超过9.2Gb/s的引脚速率,美光HBM3能使大型语言模型的训练时间缩短30%以上,从而降低总体拥有成本。此外,美光HBM3将触发每日查询量的显著增加,从而更有效地利用训练过的模型。美光第二代HBM3 内存拥有业界一流的每瓦性能,将切实推动现代AI数据中心节省运营开支。在已经部署的1,000万个图形处理器(GPU)用例中,单个HBM模块可节约5W功耗,能在五年内节省高达5.5亿美元的运营费用。


美光副总裁暨计算与网络事业部计算产品事业群总经理 Praveen Vaidyanathan表示:“美光第二代HBM3解决方案旨在为客户及业界提供卓越的人工智能和高性能计算解决方案。我们的一个重要考量标准是,该产品在客户平台上是否易于集成。美光HBM3具有完全可编程的内存内建自测试(MBIST)功能,可在完整规格的引脚速度下运行,使美光能为客户提供更强大的测试能力,实现高效协作,助力客户缩短产品上市时间。”


英伟达超大规模和高性能计算副总裁Ian Buck表示:“生成式AI的核心是加速计算,HBM的高带宽至关重要,并带来更出色的能效。我们与美光在众多产品领域保持了长期合作,非常期待与美光在第二代HBM3产品上继续合作,加速AI创新。”


第二代HBM3是美光领先技术的又一个里程碑。美光此前宣布推出基于1α(1-alpha)节点、24Gb单块DRAM裸片的96GB容量 DDR5模组用于大容量服务器解决方案;如今推出基于1β 节点、24Gb单块DRAM裸片的24GB容量 HBM3产品,并计划于2024年上半年推出基于1β 节点、32Gb单块DRAM裸片的128GB容量 DDR5模组。这些新品展现了美光在AI服务器领域的前沿技术创新。


关于 Micron Technology Inc.(美光科技股份有限公司)


美光科技是创新内存和存储解决方案的业界领导厂商,致力于通过改变世界使用信息的方式来丰富全人类生活。凭借对客户、领先技术、卓越制造和运营的不懈关注,美光通过 Micron® 和 Crucial® 品牌提供 DRAM、NAND 和 NOR 等多个种类的高性能内存以及存储产品组合。我们通过持续不断的创新,赋能数据经济发展,推动人工智能和 5G 应用的进步,从而为数据中心、智能边缘、客户端和移动应用提升用户体验带来更大机遇。


免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:

文章来源于:电子元件技术    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>