Nvidia已经全力以赴,在圣何塞正在进行的GTC大会上推动计算的边界。
本文引用地址:首席执行官黄仁勋穿着一件黑色皮夹克,在他的主题演讲中向一群聚集在一起的人群(这个活动看起来更像是一场音乐会而不是一场会议)宣布了备受期待的GB200 Grace Blackwell超级芯片,承诺为大型语言模型(LLM)推理工作负载提供多达30倍的性能提升。他还分享了汽车、机器人、全息宇宙和医疗保健领域的一些显著进展,使互联网充斥着所有与Nvidia有关的东西。
然而,GTC永远不完整,没有行业合作伙伴关系。Nvidia分享了如何通过将其新宣布的人工智能计算基础设施、软件和服务纳入其技术栈,与几家行业巨头一起发展的情况。以下是主要合作伙伴关系的概述。
AWSNvidia表示,AWS将在EC2实例上提供其新的Blackwell平台,该平台配备GB200 NVL72,配备72个Blackwell GPU和36个Grace CPU。这将使客户能够以比以前的Nvidia GPU更快、更大规模和更低成本的方式构建和运行多万亿参数LLM的实时推理。这两家公司还宣布,它们将20,736个GB200超级芯片带到Project Ceiba——一个专门在AWS上构建的AI超级计算机——并与Nvidia NIM推断微服务集成的Amazon SageMaker。
云与亚马逊一样,也宣布将Nvidia的Grace Blackwell平台和NIM微服务引入其云基础架构。该公司还表示,将在Nvidia H100 GPU上为JAX提供支持,这是一个用于高性能LLM训练的Python本地框架,并通过Google Kubernetes Engine(GKE)和Google Cloud HPC工具包使部署Nvidia NeMo框架在其平台上更加容易。
此外,Vertex AI现在将支持由NVIDIA H100 GPU驱动的Google Cloud A3 VM和由NVIDIA L4 Tensor Core GPU驱动的G2 VM。
微软微软还确认了将NIM微服务和Grace Blackwell添加到Azure的计划。然而,这项超级芯片的合作伙伴关系还包括Nvidia的新Quantum-X800 InfiniBand网络平台。由萨蒂亚·纳德拉领导的公司还宣布,DGX Cloud将与Microsoft Fabric进行本地集成,以简化自定义AI模型的开发,并在Azure Power平台上提供新推出的Omniverse Cloud API。在医疗保健领域,微软表示Azure将利用Nvidia的Clara微服务套件和DGX Cloud,帮助医疗保健提供商、制药和生物技术公司以及医疗设备开发人员快速在临床研究和护理交付方面进行创新。
甲骨文甲骨文表示,它计划在OCI Supercluster和OCI Compute实例中利用Grace Blackwell计算平台,后者将采用Nvidia GB200超级芯片和B200张量核心GPU。它还将出现在OCI上的Nvidia DGX Cloud上。除此之外,甲骨文表示,Nvidia NIM和CUDA-X微服务,包括用于RAG推理部署的NeMo Retriever,也将帮助OCI客户为其生成式人工智能应用程序带来更多的洞察力和准确性。
SAPSAP正在与Nvidia合作,将生成式人工智能整合到其云解决方案中,包括最新版本的SAP Datasphere、SAP Business Technology Platform和RISE with SAP。该公司还表示,计划使用Nvidia的生成式人工智能铸造服务在SAP BTP中构建更多的生成式人工智能功能,该服务包括DGX Cloud AI超级计算、Nvidia AI Enterprise软件和NVIDIA AI Foundation模型。
正在计划将其技术和行业专业知识与Nvidia的AI企业软件堆栈相结合,包括新的NIM微服务和Omniverse技术,以帮助客户解决复杂的业务挑战。表示,这将加速客户的AI工作流程,增强用例到模型的优化,并开发针对业务和行业的特定AI用例。该公司已经在使用Isaac Sim和Omniverse构建并交付数字孪生应用程序,用于供应链和制造业。
至于Snowflake,数据云公司Snowflake扩展了其先前与Nvidia宣布的合作伙伴关系,以与NeMo Retriever集成。这种生成式AI微服务将自定义LLMs连接到企业数据,并允许公司的客户通过Snowflake Cortex构建的聊天机器人应用程序的性能和可伸缩性。此合作还包括Nvidia TensorRT软件,该软件为深度学习推断应用程序提供低延迟和高吞吐量。
除了Snowflake之外,数据平台提供商Box、Dataloop、Cloudera、Cohesity、Datastax和NetApp还宣布计划使用Nvidia微服务,包括全新的NIM技术,以帮助客户优化RAG管道并将其专有数据集成到生成式AI应用程序中。