英伟达H200带宽狂飙!HBM3e/HBM3时代即将来临

发布时间:2023-11-14  

当地时间11月13日,英伟达(NVIDIA)宣布推出NVIDIA HGX™ H200,旨为世界领先的AI计算平台提供强大动力,将于2024年第二季度开始在全球系统制造商和云服务提供商处提供。

H200输出速度约H100的两倍

据介绍,NVIDIA H200是基于NVIDIA Hopper™架构,配备具有高级内存的NVIDIA H200 Tensor Core GPU,可处理海量数据,用于生成式AI和高性能计算工作负载。


图片来源:英伟达

与H100相比,NVIDIA H200对Llama2模型的推理速度几乎翻倍。据悉,基于Meta的Llama 2大模型的测试表明,H200的输出速度大约是H100的两倍。

英伟达表示,H200还能与已支援H100的系统相容。也就是说,已经使用先前模型进行训练的AI公司将无需更改其服务器系统或软件即可使用新版本。英伟达服务器制造伙伴包括永擎、华硕、戴尔、Eviden、技嘉、HPE、鸿佰、联想、云达、美超微、纬创资通以及纬颖科技,均可以使用H200更新现有系统,而亚马逊、Google、微软、甲骨文等将成为首批采用H200的云端服务商。

不过,英伟达暂时并未透露该产品价格。据国外媒体《CNBC》报道,英伟达上一代H100价格估计为每个2.5万美元至4万美元。英伟达发言人Kristin Uchiyama透露称,最终定价将由NVIDIA制造伙伴制定。

随着ChatGPT等推动AI应用发展,NVIDIA芯片被视为高效处理大量资料和训练大型语言模型的关键芯片,当下市场供不应求,产量问题成为业界关注的重点。

据《金融时报》8月报道指出,NVIDIA计划在2024年将H100产量成长三倍,产量目标将从2023年约50万个增加至2024年200万个。

关于H200的推出是否会影响上一代H100的生产,Kristin Uchiyama指出,未来全年的整体供应量还将有所增加。

HBM3e/HBM3时代将至

值得一提的是,此次英伟达发布的H200是首次采用HBM3e存储器规格,使GPU存储器带宽从H100的每秒3.35TB提高至4.8TB,提高1.4倍,存储器总容量也从H100的80GB提高至141GB,容量提高1.8倍。

此外,据媒体引述业内人士称,三星电子计划从明年1月开始向英伟达供应高带宽内存HBM3,HBM3将被应用在英伟达的图形处理单元(GPU)上。

“整合更快、更广泛的HBM存储器有助于对运算要求较高的任务提升性能,包括生成式AI模型和高性能运算应用程式,同时优化GPU使用率和效率”英伟达高性能运算产品副总裁Ian Buck表示。

近年来,AI服务器需求热潮带动了AI加速芯片需求,其中高频宽存储器——HBM,成为加速芯片上的关键性DRAM产品。以规格而言,据TrendForce集邦咨询研究指出,当前HBM市场主流为HBM2e,包含NVIDIA A100/A800、AMD MI200以及多数CSPs自研加速芯片皆以此规格设计。同时,为顺应AI加速器芯片需求演进,各原厂计划于2024年推出新产品HBM3e,预期HBM3与HBM3e将成为明年市场主流。

近期,三星、美光等存储大厂正在不断加快扩产步伐。据此前媒体报道,为了扩大HBM产能,三星已收购三星显示(Samsung Display)韩国天安厂区内部分建筑及设备,用于HBM生产。三星计划在天安厂建立一条新封装线,用于大规模生产HBM,该公司已花费105亿韩元购买上述建筑和设备等,预计追加投资7000亿-1万亿韩元。 

而美光科技位于台湾地区的台中四厂于11月初正式启用。美光表示,台中四厂将整合先进探测与封装测试功能,量产HBM3E及其他产品,从而满足人工智能、数据中心、边缘计算及云端等各类应用日益增长的需求。该公司计划于2024年初开始大量出货HBM3E。

从HBM不同世代需求比重来看,据TrendForce集邦咨询表示,2023年主流需求自HBM2e转往HBM3,需求比重分别预估约是50%及39%。随着使用HBM3的加速芯片陆续放量,2024年市场需求将大幅转往HBM3,而2024年将直接超越HBM2e,比重预估达60%,且受惠于其更高的平均销售单价(ASP),将带动明年HBM营收显著成长。

TrendForce集邦咨询此前预估,由于HBM3平均销售单价远高于HBM2e与HBM2,故将助力原厂HBM领域营收,可望进一步带动2024年整体HBM营收至89亿美元,年增127%。

封面图片来源:拍信网

文章来源于:全球半导体观察    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    中国信通院:全球网测上线,绿色免费支持千兆; 据业内消息,中国信通院近日宣布全球网测App正式上线,不仅绿色免费,而且还支持5G千兆测速。 中国信通院产业与规划研究所在6年前......
    范围宽、噪声低,可获得高质量的X射线图像。采用独特的抗辐照设计,辐照寿命高达20000Gy,极大的延长了探测器的使用寿命。支持千兆和2.5G以太网接口,在全分辨率下帧率高达80fps,可满......
    TE Connectivity推出GEMnet电缆组件; 【导读】TE Connectivity (TE) GEMnet电缆组件支持千兆位以太网和SerDes应用,提供高达15GHz带宽......
    仍有50%的人口无法获得任何形式的互联网接入。在过去12个月内只有巴林和马来西亚两个国家首次推出千兆互联网,相较于去年新增八个千兆互联网国家,今年的部署增速有所放缓。 广告 随着支持千兆......
    @60FPS视频解码、JPEG/MJPEG 1080P@60FPS视频编码 ,具有丰富多媒体接口MIPI-DSI/RGB/LVDS/Parallel CSI,支持1080P@60FPS显示;处理器还支持千兆......
    一种网卡,用于将计算机连接到局域网或互联网。千兆卡支持千兆以太网传输速度,具有更高的带宽和更快的数据传输速度。它能够提供稳定、高效的网络连接,适用于大规模数据传输、视频流媒体等需要高速网络连接的场景。 从功......
    量下仍可获得高质量的图像。采用独特的抗辐照设计,辐照寿命高达20000Gy,极大延长了探测器的使用寿命。支持千兆和2.5G以太网接口,在全分辨率下帧率高达30fps,多种规格可选,可满......
    拓展坞可以同时连接与这些接口对应的设备。比如,USB接口可以连接鼠标、键盘、U盘等。 其次,我们介绍产品的使用效果。在SD/TF接口连接后,拓展坞可以支持双卡读取,传输速度快捷,可达104MB/S。千兆网口连接后,支持千兆......
    能力。STM32MP25支持32位DDR4和LPDDR4存储器,为成本优化设计提供长期保障。 STM32MP25产品线还支持千兆时效敏感性网络(TSN)规范,配备双端口千兆以太网TSN Switch模块......
    三集团副总裁周明毅和新华三集团网络产品部部长陈伯超,分别参加了全光品质运力高峰论坛和双千兆时代光纤光缆创新发展分论坛相关活动。 见证新发展 千兆光网"追光计划"启动实施 近年来,我国各级政府相继出台了多项政策支持千兆......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>