NVIDIA 为全球领先的 AI 计算平台 Hopper 再添新动力

发布时间:2023-11-14  

世界顶级服务器制造商和云服务提供商即将推出 HGX H200 系统与云实例



丹佛 - SC23 - 太平洋时间 2023 11 13 - NVIDIA 于今日宣布推出 NVIDIA HGX™ H200,为 Hopper 这一全球领先的 AI 计算平台再添新动力。NVIDIA HGX H200 平台基于 NVIDIA Hopper™ 架构,搭载 NVIDIA H200 Tensor Core GPU 和领先的显存配置,可处理生成式 AI 与高性能计算工作负载的海量数据。


NVIDIA H200 是首款采用 HBM3e 的 GPU,其运行更快、更大的显存容量将进一步加速生成式 AI 与大语言模型,同时推进用于 HPC 工作负载的科学计算。凭借 HBM3e,NVIDIA H200 能够提供传输速度达 4.8 TB/秒的 141GB 显存。与上一代架构的 NVIDIA A100 相比,其容量几乎翻了一倍,带宽也增加了 2.4 倍。


全球领先的服务器制造商和云服务提供商预计于 2024 年第二季度开始提供搭载 H200 的系统。


NVIDIA 超大规模和高性能计算副总裁 Ian Buck 表示:“想要通过生成式 AI 和 HPC 应用创造智能,就必须使用大型、快速的 GPU 显存来高速、高效地处理海量数据。借助 NVIDIA H200,业界领先的端到端 AI 超级计算平台的速度将会变得更快,一些世界上最重要的挑战,都可以被解决。”


来持的性能飞跃


与前代架构相比,NVIDIA Hopper 架构实现了前所未有的性能跃升,而 H100 持续的软件升级,包括最近发布的 NVIDIA TensorRT™-LLM 等强大的开源库,都在不断提升其性能标准。


H200 的推出将带来进一步的性能飞跃,比如在一个 700 亿参数的 LLM —— Llama 2 上的推理速度比 H100 提高了近一倍。随着未来软件的持续升级,H200 有望实现更大的性能优势与提升。


NVIDIA H200


NVIDIA H200 将提供四路和八路 NVIDIA HGX H200 服务器主板可选,其与HGX H100 系统的硬件和软件都兼容。同时还可用于今年 8 月发布的采用 HBM3e 的 NVIDIA GH200 Grace Hopper™ 超级芯片。这些配置使 H200 可以部署在各类数据中心,包括本地、云、混合云和边缘。


在 NVIDIA NVLink™ 和 NVSwitch™ 高速互连技术的加持下,HGX H200 可为各种应用工作负载提供最高的性能,包括针对 1750 亿参数以上超大模型的 LLM 训练和推理。


八路 HGX H200 可提供超过 32 PetaFLOPS的 FP8 深度学习计算能力和 1.1TB 的聚合高带宽内存容量,能够为生成式 AI 和 HPC 应用带来强劲性能。


当H200 与采用超高速 NVLink-C2C 互连技术的 NVIDIA Grace™ CPU 搭配使用时,就组成了带有 HBM3e 的 GH200 Grace Hopper 超级芯片——专为大型 HPC 和 AI 应用而设计的计算模块。


使用 NVIDIA 件加速 AI


NVIDIA 加速计算平台具备强大软件工具支持,能够助力开发者和企业构建并加速从 AI 到 HPC 的生产就绪型应用,包括适用于语音、推荐系统和超大规模推理等工作负载的 NVIDIA AI Enterprise 软件套件。


情况


NVIDIA H200 将于 2024 年第二季度开始通过全球系统制造商和云服务提供商提供。




文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>