研调机构TrendForce集邦咨询17日举办AI服务器论坛,美光透露目前DDR5酝酿许久,而HBM产能在2025年前已满载,美光在各种存储器产品有多种布局,也为AI数据中心提供强大支持。
美光在全球布局超过54,000项专利,存储器和存储技术领先业界,目前已经酝酿很久DDR5,下一代会做到1γ制程,采用EUV制程技术,计划2025年率先在中国台湾量产。
美光表示,公司拥有广泛的产品群组、长周期生命产品,以及完整的系统规划。随着AI改变数据中心生态,读取方式已经不同,必须跟着AI神经网路模式运作,因此深度学习的读写比率已经到5000:1,意味着读取速度远超过写入速度,因此选择合适的储存设备相当重要。
对此,美光也进行服务器架构优化,当GPU服务器和SSD以1:1方式进行训练,效能会做到最好。另外,随着AI时代来临,在AI效能和成本间的平衡也越发重要,美光推出能最佳化现有系统并延长设备寿命的DDR4,速度高达3,200MT/s。在多核心CPU架构下,美光DDR5以6,400MT/s速度,使频宽增至DDR4的2倍、深度学习效能为DDR4的5倍、AI性能提升7倍,支持AI、HPC和企业负载。
NAND部分,美光目前推出232层NAND,以稳定在产品上应用为主,并同步发展HBM3e甚至HBM4。美光表示,CXL也是未来相当重要的发展方向,目前推出的CZ120为存储器扩充模组,可提供更多容量、频宽和灵活配置,是较为前端的应用,目前样品已经分享给合作伙伴。
晶心科提供客制化指令集工具ACE,增加设计弹性
晶心科技资深技术经理胡鸿光指出,RISC-V具有模组化优势;开源架构、没有法律问题;可最少指令集进行设计,因此能做到非常精简、有效率的状态;具有客制化优点,每个客户能自己增加指令和自己的功能。RISC-V架构可以用于数据中心、车用、移动设备等任何AI需求产品。
晶心科成立已经有19年,在今年1月的SHD报告中,该公司在RISC-VIP供应商中市占率高达30%,联发科、联咏、瑞萨、群联等都有长期合作,另外一个主要大客户是Meta。
胡鸿光认为Meta之所以选择RISC-V,优势在于容易客制化、有极大弹性,而RISC-V新出的矢量指令集在做AI运算极具影响力,另外晶心科提供客制化指令集工具Andes Custom Extension(ACE),提供Meta增加私有客制指令介面与暂存器,可达成其需求。
TrendForce:AI服务器需求畅旺,出货量年增近41%
最后针对AI服务器市况,TrendForce资深分析师龚明德指出,有几大重点领域,主要拉货领域包括北美CSP(云端服务供应商),包括公有云、搜寻引擎、广告推荐系统等。
今年服务器仅成长近2%,因为受到AI预算排挤,而AI服务器需求畅旺,出货量可望达166万台,年增近41%。龚明德预期,今年第二季成长较明显,因为Nvidia H100前导时间(leading time)缩短,逐季看好。
龚明德预期,Nvidia今年高端GPU出货量将年增超过110%,到下半年产品品将过渡到H200,而B100将进入早期量产阶段。至于AMD高端AI解决方案会主要面向CSP,搭载M1300 XAl芯片的Al服务器预计下半年将成主流,而第二供应商的身份有望带来AMD成长。
同时,CSP内部开发的ASIC也将发挥关键作用。到了2024年,AWS将在下一代ASIC投入大量资源,Meta和中国大陆CSP亦是如此。CSP今年仍将是AI服务器主要成长动能,尤其北美四大CSP已经占六成采购量,中国大陆自主芯片需求也会强劲。
最后针对Nvidia Blackwell平台,龚明德认为这款产品主要面向CSP,并推动CoWoS和HBM出货量在2025年实现双高个位数成长。
封面图片来源:拍信网