由 NVIDIA H100 Tensor Core GPU 驱动

亚马逊（纳斯达克股票代码：AMZN）旗下公司 Amazon Web Services 近日在纽约峰会上宣布 Amazon Elastic Compute Cloud（EC2）P5 实例正式可用。这是一款新一代 GPU 实例，由最新的 NVIDIA H100 Tensor Core GPU 驱动，可以满足客户在运行人工智能、机器学习和高性能运算工作负载时对高性能和高扩展性的需求。与上一代基于 GPU 的实例相比，Amazon EC2 P5 实例可以将训练时间缩减 6 倍（从数天缩短到数小时），从而帮助客户节省高达 40% 的训练成本。

Amazon EC2 P5 实例提供 8 个 NVIDIA H100 Tensor Core GPU，具有 640 GB 高带宽 GPU 内存，同时提供第三代 AMD EPYC 处理器、2TB 系统内存和 30 TB 本地 NVMe 储存。Amazon EC2 P5 实例还提供 3200 Gbps 的聚合网络带宽并支持 GPUDirect RDMA，从而能够绕过 CPU 进行节点间通讯，实现更低的延迟和高效的横向扩展性能。

AWS 与 NVDIA 携手开发下一代基础设施

AWS 和 NVIDIA在今年 3 月宣布了一项多方合作，构建全球最具可扩展性且按需要付费的人工智能基础设施，以便训练日益复杂的大语言模型和开发生成式AI应用程序。

当时，AWS预先发布了由 NVIDIA H100 Tensor Core GPU 驱动的 Amazon EC2 P5 实例，可为构建和训练更大规模的机器学习模型提供高达 20 exaFLOPS 的运算能力。AWS 和 NVIDIA合作十多年来成果丰富，推出了包括支持视觉运算、人工智能和高性能运算集群的各种 GPU 实例，如 CG1 实例（2010 年）、G2（2013 年）、P2（2016 年）、P3（2017 年）、G3（2017 年）、P3dn（2018 年）、G4（2019 年）、P4（2020 年）、G5（2021 年）和 P4de（2022 年）实例。

现在，机器学习模型的规模已经达到数万亿参数，这种复杂性大大增加了客户训练模型所需的时间，例如，最新的大语言模型训练时间长达数月之久。类似的趋势也出现在高性能运算领域。随着高性能运算客户数据收集准确度的提高以及数据集达到 EB 级规模，客户已在寻找解决日益复杂应用程序的更快方法。

关于 Amazon EC2 P5 实例

Amazon EC2 P5 实例非常适合训练和运行越来越复杂的大语言模型和计算机视觉模型，以满足最苛刻的运算密集型生成式 AI 应用的需求，包括问答、编码生成、影片和图像生成、语音识别等。与上一代基于 GPU 的实例相比，Amazon EC2 P5 实例在这些应用中的训练时间缩短了 6 倍。那些可以在工作负载中使用较低精度 FP8 数据类型的客户，例如使用 Transformer 框架的语言模型，将通过 NVIDIA Transformer Engine 的支持获得高达 6 倍的性能提升。

高性能运算客户通过使用 Amazon EC2 P5 实例可以在药物开发、地震分析、天气预报和金融建模等领域更大规模地部署高要求的应用程序。此外，对于使用基于动态规划（Dynamic Programming）算法进行基因组测序或加速数据分析等应用的客户，Amazon EC2 P5 将通过新的 DPX 指令集提供支持。

第二代 Amazon EC2 UltraClusters 和 Elastic Fabric Adapter

Amazon EC2 P5 实例为多节点分布式训练和紧密耦合的高性能运算工作负载提供先进的横向扩展功能，其使用的第二代 Elastic Fabric Adapter（EFA）网络设备提供高达 3200 Gbps 的网络速度，为 Amazon EC2 P4d 实例的 8 倍。

为了满足客户对大规模和低延迟的需求，Amazon EC2 P5 实例部署在第二代 Amazon EC2 UltraClusters 中，该集群目前可在超过 2 万个NVIDIA H100 Tensor Core GPU 上为客户提供更低的延迟。作为云端中最大规模的机器学习基础设施之一，Amazon EC2 UltraClusters 中的 Amazon EC2 P5 实例可提供高达 20 exaFLOPS 的聚合运算能力。

Amazon EC2 UltraClusters 使用了 Amazon FSx for Lustre，这是一种完全托管的共享储存，构建在常用的高性能并行文件系统上。客户通过 Amazon FSx for Lustre ，可以按需要大规模快速处理海量数据集，并实现亚毫秒级延迟。Amazon FSx for Lustre 的低延迟和高吞吐量特性经过优化，可在Amazon EC2 UltraCluster 上为深度学习、生成式 AI 和高性能运算工作负载提供支持。

Amazon FSx for Lustre 可以为 Amazon EC2 UltraCluster 中的 GPU 和机器学习加速器持续提供数据，从而加速最苛刻的工作负载，包括大语言模型训练、生成式 AI 推理，以及基因组学和金融风险建模等高性能运算负载。

Amazon EC2 P5 实例现已正式可用

Amazon EC2 P5 实例现已在以下区域正式可用：美国东部（北弗吉尼亚）和美国西部（俄勒冈）。如欲了解更多，请浏览 Amazon EC2 定价。

客户也可以选择 AWS 提供的各种内置生成式 AI 的云端服务，它们都运行在具有成本效益的生成式 AI 云端基础设施上，协助客户加快创新和重塑应用。如欲了解更多，请浏览 AWS 生成式 AI 网站。

关于Amazon Web Services

自2006年来，Amazon Web Services一直在提供世界上服务最丰富、应用广泛的云端服务。AWS为客户提供超过200种功能全面的云端服务，包括运算、储存、数据库、网络、分析、机器学习与人工智能、物联网、流动、安全、混合云、虚拟和扩增实境(VR 和AR)、媒体，以及应用开发、部署和管理等方面，遍及31个地理区域内的99个可用区域(Availability Zones)，并已公布计划在加拿大、以色列、马来西亚、纽西兰和泰国建立5个AWS地理区域、15个可用区域。AWS的服务获得全球超过百万客户的信任，包括发展迅速的初创公司、大型企业和政府机构。通过AWS的服务，客户能够有效强化自身基础设施，提高营运上的弹性与应变能力，同时降低成本。