高带宽内存HBM需求猛涨,原因还是……

发布时间:2023-02-27  

【导读】ChatGPT已经从下游AI应用“火”到了上游芯片领域,在将GPU等AI芯片推向高峰之外,也极大带动了市场对新一代内存芯片HBM(高带宽内存)的需求。据悉,2023年开年以来三星、SK海力士的HBM订单就快速增加,价格也水涨船高。有市场人士透露近期HBM3规格DRAM价格上涨了5倍。这也为寒冬中的存储器市场带来了一抹春色。


4.jpg


ChatGPT爆红提升HBM需求


作为一款自然语言类AI应用,ChatGPT不仅对芯片算力有着巨大需求,对内存技术的需求也极高,比如ChatGPT上线应用以来,拥有高速数据传输速度的HBM内存芯片几乎成为ChatGPT的必备配置,市场需求激增。有消息称,2023年开年以来三星、SK海力士HBM订单就快速增加,价格也水涨船高。


有市场人士透露英伟达已经将SK海力士的HBM3安装到其高性能GPU H100上,而H100已开始供应ChatGPT服务器所需。近期最新一代高带宽内存HBM3的价格上涨了5倍。


SK海力士HBM设计团队项目负责人朴明宰撰文介绍,HBM是一种可以实现高带宽的高附加值DRAM产品,适用于超级计算机、AI加速器等对性能要求较高的计算系统。随着计算技术的发展,机器学习的应用日渐广泛,而机器学习的基础是自20世纪80年代以来一直作为研究热点的神经网络模型。作为速度最快的DRAM产品,HBM在克服计算技术的局限性方面发挥着关键的作用。


此前,尽管HBM具有出色的性能,但与一般DRAM相比,其应用较少。这是因为HBM需要复杂的生产过程,平均售价至少是DRAM的三倍。但AI服务的扩展正在扭转这样的局面。据悉,目前已经有超过25000块英伟达计算卡加入到了深度学习的训练中。未来,随着不断接入ChatGPT等生成式AI需求大增,HBM的需求也将呈现出暴增的态势。三星内存副总裁Kim Jae-joon便指出,ChatGPT等基于自然语言技术的交互式AI应用的发展有利于提升内存需求。高效且大量的运算能力、高容量的内存,是AI学习与推论模型的根基。


5.png


存储巨头齐争高性能市场


去年以来,受消费电子产品需求下滑等多种因素影响,存储行业进入了下行周期。SK海力士全年的净利润降至2.4万亿韩元,同比下滑75%。三星电子存储业务的营收与营业利润,在去年第三季度和第四季度也是同比环比双双下滑。TrendForce集邦咨询预估2023年第一季度DRAM价格仍将持续下探。其中,PC及服务器用DRAM跌幅仍是近两成。HBM的需求火爆不啻于一剂“强心针”。这种情况下,SK海力士、三星电子、美光等内存厂商均表示将致力于HBM的开发。企业之间的产品开发竞争也随之升温。


2013年SK海力士将TSV技术应用于DRAM,在业界首次成功研发出第一代HBM芯片。此后,SK海力士相继推出HBM2、HBM2E、HBM3数代产品。据悉,SK海力士正在研发HBM4,预计新一代产品将能够更广泛地应用于高性能数据中心、超级计算机和AI等领域。SK海力士CFO金祐贤表示,公司正关注着市场上出现以AI为基础的新服务器替换存储器需求的积极信号。公司计划持续投资DDR5/LPDDR5、HBM3等主力产品的量产和未来高成长领域。


三星电子虽然在HBM的开发上落后一步,但也在寻找新的突破口。据悉,三星电子正在开发集成AI处理器新一代存内计算芯片HBM-PIM。北京大学信息科学技术学院微纳电子学系副教授叶乐表示,存内计算芯片是将AI引擎引入存储库,将处理操作转移到HBM本身,将有效加大数据传输带宽,提高内存的处理速度。存内计算技术正在实现产品化。目前基于SRAM的存内计算,已经进入到产品化的前夜,DRAM存内计算适用于大算力AI芯片,因此还需要解决其他一系列的技术难题。


上下游发力抢占先机


与HBM相关的上下游企业也在发力,以期抢占先机。AMD在HBM的诞生与发展过程中功不可没。最早是AMD意识到DDR的局限性并产生开发堆叠内存的想法,其后与SK海力士联手研发了HBM,并在其Fury显卡采用全球首款HBM。ISSCC 2023国际固态电路大会上的消息,AMD考虑在Instinct系列加速卡已经整合封装HBM高带宽内存的基础上,在后者之上继续堆叠DRAM内存,可以在一些关键算法内核可以直接在整合内存内执行,而不必在CPU和独立内存之间往复通信传输,从而提升AI处理的性能,并降低功耗。


英伟达同样重视处理器与内存间的协同,一直在要求SK海力士提供最新的HBM3内存芯片。据悉,目前已经有超过25000块英伟达计算卡加入到了深度学习的训练中。如果所有的互联网企业都在搜索引擎中加入ChatGPT这样的机器人,那么计算卡以及相应的服务器的需求量将会达到50万块,也将连同带动HBM的需求量大幅增长。


IP厂商亦已先行布局HBM3。去年,Synopsys推出首个完整的HBM3 IP解决方案,包括用于2.5D多芯片封装系统的控制器、PHY(物理层芯片)和验证IP。HBM3 PHY IP基于5nm制程打造,每个引脚的速率可达7200 Mbps,内存带宽最高可提升至921GB/s。Rambus也推出支持HBM3的内存接口子系统,内含完全集成的PHY和数字控制器,数据传输速率达8.4 Gbps,可提供超过1TB/s的带宽。


Rambus IP核产品营销高级总监Frank Ferro此前在接受采访时指出,HBM现在依旧处于相对早期的阶段,其未来还有很长的一段路要走。而可预见的是,随着越来越多的厂商在AI和机器学习等领域不断发力,内存产品设计的复杂性正在快速上升,并对带宽提出了更高的要求,不断上升的宽带需求将持续驱动HBM发展。


来源:中国电子报,陈炳欣  



免责声明:本文为转载文章,转载此文目的在于传递更多信息,版权归原作者所有。本文所用视频、图片、文字如涉及作品版权问题,请联系小编进行处理。


推荐阅读:


文章来源于:电子元件技术    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>