ChatGPT呼唤高性能内存芯片 HBM报价飞涨 三星、海力士接单量大增

发布时间:2023-02-15  

ChatGPT等新兴AI产品对高性能存储芯片的需求与日俱增。据韩国经济日报报道,受惠于ChatGPT,三星、SK海力士高带宽内存(high bandwidth memory,HBM)接单量大增。


HBM是一种基于3D堆叠工艺的DRAM内存芯片,它就像摩天大厦中的楼层一样可以垂直堆叠。基于这种设计,信息交换的时间将会缩短。这些堆叠的数颗DRAM芯片通过称为“中介层(Interposer)”的超快速互联方式连接至CPU或GPU,最后可将组装好的模块连接至电路板。


image

HBM的架构 图源:AMD


HBM重新调整了内存的功耗效率,能大幅提高数据处理速度,是当下速度最快的DRAM产品,其每瓦带宽比GDDR5高出3倍还多,且HBM比GDDR5节省了94%的表面积。


目前,HBM主要被安装在GPU、网络交换及转发设备(如路由器、交换器)、AI加速器、超级计算机及高效能服务器上。


首尔业界消息称,SK海力士为英伟达供应第三代HBM,搭配英伟达的A100 GPU供ChatGPT使用。另外,英伟达已经将SK海力士的第四代HBM安装至H100,而H100已开始供应ChatGPT服务器所需。


另一方面,三星已开发出具运算能力的HBM,不但能储存数据、还能运算数据。三星已在2022年10月向AMD供应该产品,用于AI加速器。


首尔业界透露,如今第三代HBM报价飞涨,已是效能最高的DRAM产品的五倍之多,其市场成长率是三星、SK海力士原本预测的两倍以上。


高算力AI应用呼唤高性能内存芯片


ChatGPT等高算力AI应用的火爆将基础设施端逐渐推向前台。


三星内存副总裁Kim Jae-joon曾说,ChatGPT等基于自然语言技术的交互式AI应用的发展有利于提升内存需求。高效且大量的运算能力、高容量的内存,是AI学习与推论模型的根基。


目前,搭载于新兴AI应用的内存芯片亟待升级。


首先,ChatGPT这类生成式AI应用需要在海量的训练数据中进行学习,才能实现高质量的生成输出。为了实现关键词识别、图像识别等功能,AI模型需要存储大量的图片和音频信息。


其次,面向C端用户的AI应用必须具备快速处理数据的能力,才能向用户实时输出AI计算结果,因此也对内存芯片的数据传输速度提出了更高要求。


与此同时,随着人工智能技术的进一步普及,越来越多的AI应用发生在移动设备和物联网终端设备上,而这些设备大多采用电池供电或充电,对功耗十分敏感。


如此一来,以HBM为代表的超高带宽内存技术有望成为相关加速芯片的必然选择,同时生成类模型也会加速HBM内存进一步增大容量和增大带宽。


除了HBM之外,CXL(计算快速链接)等新的存储技术加上软件的优化也有将在这类应用中增加本地存储的容量和性能,估计会从生成类模型的崛起中获得更多的工业界采用。


据《科创板日报》不完全统计,A股已有澜起科技、国芯科技、通富微电等厂商有相关技术布局。


image


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>