大型云端业者积极建置AI 服务器,加速推升AI芯片与HBM需求,预估2024年先进封装产能将提升3~4成|TrendForce集邦咨询

发布时间:2023-06-22  
TrendForce集邦咨询:大型云端业者积极建置AI 服务器,加速推升AI芯片与HBM需求,预估2024年先进封装产能将提升3~4成
 
根据TrendForce集邦咨询研究指出,2023年ChatBOT等生成式AI应用带动AI服务器成长热潮,又以大型云端业者最积极投入,包含Microsoft、Google、AWS或其他中系业者如Baidu、ByteDance等陆续采购高端AI服务器,以持续训练及优化其AI分析模型。高端AI服务器需采用的高端AI芯片,将推升2023-2024年高带宽存储器(HBM)的需求,并将驱动先进封装产能2024年成长3~4成。
 
TrendForce集邦咨询指出,为提升整体AI服务器的系统运算效能,以及存储器传输带宽等,NVIDIA、AMD、Intel等高端AI芯片中大多选择搭载HBM。目前NVIDIA的A100及H100,各搭载达80GB的HBM2e及HBM3,在其最新整合CPU及GPU的Grace Hopper芯片中,单颗芯片HBM搭载容量再提升20%,达96GB。另外,AMD的MI300也搭配HBM3,其中,MI300A容量与前一代相同为128GB,更高端MI300X则达192GB,提升了50%。同时预期Google将于2023年下半年积极扩大与Broadcom合作开发AISC AI加速芯片TPU亦采搭载HBM存储器,以扩建AI基础设施。
 
TrendForce集邦咨询预估,2023年市场上主要搭载HBM的AI加速芯片(如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等),搭载HBM总容量将达2.9亿GB,成长率近6成,2024年将持续成长3成以上。
 
此外,AI及HPC等芯片对先进封装技术的需求日益提升,其中,以TSMC的CoWoS为目前AI 服务器芯片主力采用者。CoWoS封装技术主要分为CoW和oS两段,其中,CoW主要整合各种Logic IC(如CPU、GPU、AISC等)及HBM存储器等,另外,oS部分则将上述CoW以凸块(Solder Bump)等接合,封装在基板上,最后再整合到PCBA,成为服务器主机板的主要运算单元,与其他零部件如网络、储存、电源供应单元(PSU)及其他I/O等组成完整的AI 服务器系统。
 
TrendForce集邦咨询观察,估计在高端AI芯片及HBM强烈需求下,TSMC于2023年底CoWoS月产能有望达12K,其中,NVIDIA在A100及H100等相关AI Server需求带动下,对CoWoS产能较年初需求量,估提升近5成,加上AMD、Google等高端AI芯片需求成长下,将使下半年CoWoS产能较为紧迫,而此强劲需求将延续至2024年,预估若在相关设备齐备下,先进封装产能将再成长3~4成。
 
TrendForce集邦咨询指出,值得注意的是,在AI较急促需求下,无论是HBM或CoWoS生产过程中,得后续观察周边配套措施,例如硅通孔封装技术(TSV)、中介层电路板(Interposer)以及相关设备(如湿制程设备)等是否能到位,如前置时间(Lead Time)等考量。而在AI强劲需求持续下,估NVIDIA针对CoWoS相关制程,亦不排除将评估其他类似先进封装外援,例如Amkor或Samsung等,以应对可能供不应求的情形。
 
注:
1. 本文高端AI Server指搭载高端AI芯片的Sever设备,针对如大型CSPs或HPC等AI模型训练应用,高端AI芯片包含如NVIDIA的A100或H100,或AMD的MI200、MI300,或Intel的Max GPU等。
2. Samsung主力先进封装技术为Cube系列,如I-Cube、H-Cube、X-Cube等;Amkor先进封装技术涵盖晶圆级封装(WLP)、覆晶封装、系统级封装等。
文章来源于:全球半导体观察    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>