大型云端业者积极建置AI 服务器，加速推升AI芯片与HBM需求，预估2024年先进封装产能将提升3~4成｜TrendForce集邦咨询
发布时间:2023-06-22
技术咨询
代买器件
商务客服
研发客服TrendForce集邦咨询：大型云端业者积极建置AI 服务器，加速推升AI芯片与HBM需求，预估2024年先进封装产能将提升3~4成
根据TrendForce集邦咨询研究指出，2023年ChatBOT等生成式AI应用带动AI服务器成长热潮，又以大型云端业者最积极投入，包含Microsoft、Google、AWS或其他中系业者如Baidu、ByteDance等陆续采购高端AI服务器，以持续训练及优化其AI分析模型。高端AI服务器需采用的高端AI芯片，将推升2023-2024年高带宽存储器（HBM）的需求，并将驱动先进封装产能2024年成长3~4成。
TrendForce集邦咨询指出，为提升整体AI服务器的系统运算效能，以及存储器传输带宽等，NVIDIA、AMD、Intel等高端AI芯片中大多选择搭载HBM。目前NVIDIA的A100及H100，各搭载达80GB的HBM2e及HBM3，在其最新整合CPU及GPU的Grace Hopper芯片中，单颗芯片HBM搭载容量再提升20%，达96GB。另外，AMD的MI300也搭配HBM3，其中，MI300A容量与前一代相同为128GB，更高端MI300X则达192GB，提升了50%。同时预期Google将于2023年下半年积极扩大与Broadcom合作开发AISC AI加速芯片TPU亦采搭载HBM存储器，以扩建AI基础设施。
TrendForce集邦咨询预估，2023年市场上主要搭载HBM的AI加速芯片（如NVIDIA的H100及A100、AMD的MI200及MI300及Google的TPU等），搭载HBM总容量将达2.9亿GB，成长率近6成，2024年将持续成长3成以上。
此外，AI及HPC等芯片对先进封装技术的需求日益提升，其中，以TSMC的CoWoS为目前AI 服务器芯片主力采用者。CoWoS封装技术主要分为CoW和oS两段，其中，CoW主要整合各种Logic IC（如CPU、GPU、AISC等）及HBM存储器等，另外，oS部分则将上述CoW以凸块（Solder Bump）等接合，封装在基板上，最后再整合到PCBA，成为服务器主机板的主要运算单元，与其他零部件如网络、储存、电源供应单元（PSU）及其他I/O等组成完整的AI 服务器系统。
TrendForce集邦咨询观察，估计在高端AI芯片及HBM强烈需求下，TSMC于2023年底CoWoS月产能有望达12K，其中，NVIDIA在A100及H100等相关AI Server需求带动下，对CoWoS产能较年初需求量，估提升近5成，加上AMD、Google等高端AI芯片需求成长下，将使下半年CoWoS产能较为紧迫，而此强劲需求将延续至2024年，预估若在相关设备齐备下，先进封装产能将再成长3~4成。
TrendForce集邦咨询指出，值得注意的是，在AI较急促需求下，无论是HBM或CoWoS生产过程中，得后续观察周边配套措施，例如硅通孔封装技术（TSV）、中介层电路板（Interposer）以及相关设备（如湿制程设备）等是否能到位，如前置时间（Lead Time）等考量。而在AI强劲需求持续下，估NVIDIA针对CoWoS相关制程，亦不排除将评估其他类似先进封装外援，例如Amkor或Samsung等，以应对可能供不应求的情形。
注：
1. 本文高端AI Server指搭载高端AI芯片的Sever设备，针对如大型CSPs或HPC等AI模型训练应用，高端AI芯片包含如NVIDIA的A100或H100，或AMD的MI200、MI300，或Intel的Max GPU等。
2. Samsung主力先进封装技术为Cube系列，如I-Cube、H-Cube、X-Cube等；Amkor先进封装技术涵盖晶圆级封装（WLP）、覆晶封装、系统级封装等。
文章来源于:全球半导体观察 原文链接
本站所有转载文章系出于传递更多信息之目的，且明确注明来源，不希望被转载的媒体或个人可与我们联系，我们将立即进行删除处理。
相关文章
存储模组厂Q1库存高达6~8个月(2024-05-21)
存储模组厂Q1库存高达6~8个月;
【导读】据台媒《电子时报》报道，尽管消费性电子产品需求疲弱，但AI及云端服务器等高阶应用供不应求，持续拉动合约市场价格上扬，上游......
规格均为特殊设计，故用量也较其他业者多，预期今年服务器的采购仍有接近双位数的成长。
中国云端业者扩展速度受限，仅腾讯需求量年增达一成
另外，从中国云端服务业者来看，因扩展速度与服务格局较为受限，2021年需......
基于ESP8266 WIFI网络控制和机智云的智能家居管控(2024-07-08)
变成我们所需要范围内的直流电压信号，电流检测流程图如图3所示。
图3 电流检测流程图
5 智能产品互联设计
智能家居管控模型效果图如图4所示，系统选用WIFI模块作为沟通云端服务器的桥梁.在系......
AMD祭出“史上最复杂芯片”：狂塞1460亿个晶体管 采用Chiplet技术(2023-01-09)
迄今最复杂的芯片”，共有1460亿个晶体管，相较InstinctMI250X，InstinctMI300可提升8倍的AI训练算力和5倍的AI能效。image
1460亿个晶体管是什么概念？英特尔的服务器......
小米手环台湾卖出100万条＝178座101大厦(2016-10-12)
台湾运营总监@HenmanLee 今天就带来了个好消息。
据他称，小米手环2014年12月首次登陆台湾市场，后续光感版、小米手环2也都进入了台湾，至今累计销量已经突破100万条。
这是什么概念呢？他打......
边缘运算服务器全方位应用场景(2023-09-21)
边缘运算服务器全方位应用场景;在深入研究之前，必须先了解它们与传统云端的不同。现在，我们来看看的特点，它的存在为什么如此引人注目?‧ 更快的处理数据：服务器处理速度非常快。相较于传统的云端服务器......
数据中心将率先采用
据TrendForce集邦咨询研究显示，近年企业对于人工智能、高效能运算等数字转型需求加速，带动云端采用比例增加，全球主要云端服务业者为提升服务弹性，陆续导入ARM架构服务器，预期......
Q2全球服务器出货不增反减5.7%(2023-08-15)
Q2全球服务器出货不增反减5.7%;
【导读】分析师萧圣伦指出，大型云端服务业者(Cloud Service Provider；CSP)放慢传统云端资料中心的建置速度，且受生成式AI带动......
AI伺服器获大量订单，这种关键原材料将供不应求(2023-10-13)
光模块需搭配高阶的差动式输出振荡器，单价较一般伺服器/消费电子的振荡器高约10-20倍，毛利率为50-60%以上。
差动式输出振荡器是什么......
利润率远超苹果 台积电2022营收大涨42.6%(2023-01-10)
%，这是什么概念？
涉及硬件生产的科技行业中，苹果iPhone手机一直以高利润率著称，但毛利率也不过43%左右，相比之下台积电代工芯片的毛利率早已经远超苹果，吸金能力爆表。
......