• 来自 AI 生态系统各个领域的 150 余家合作伙伴嵌入了 NIM 推理微服务，将企业级 AI 应用的部署时间从数周缩短至几分钟

• NVIDIA 开发者计划会员可免费使用 NIM 来进行研究、开发和测试

COMPUTEX—2024 年 6 月 2 日—NVIDIA 于今日宣布，全球 2,800 万开发者现可下载 NVIDIA NIM™——一种推理微服务，通过经优化的容器的形式提供模型——以部署在云、数据中心或工作站上。借助 NVIDIA NIM，开发者能够轻松地为 copilots、聊天机器人等构建生成式 AI 应用，所需时间从数周缩短至几分钟。

这些新的生成式 AI 应用正变得越来越复杂，通常需要使用具有不同功能的多个模型来生成文本、图像、视频、语音等。NVIDIA NIM 提供了一种简单、标准化的方式，将生成式 AI 添加到应用中，显著提高了开发者的工作效率。

NIM 还可使企业能够最大限度利用其基础设施投资。例如，相较于未使用 NIM 的情况下，在 NIM 中运行 Meta Llama 3-8B 时，后者在加速基础设施上可产生高达 3 倍的生成式 AI token。这使企业能够大幅提高效率，使用相同的计算基础设施来生成更多的结果。

包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家技术合作伙伴正在将 NIM 集成到他们的平台中，以加快特定领域应用的生成式 AI 部署，例如 copilot、代码助手和数字人虚拟形象。从 Meta Llama 3 开始，在 Hugging Face 上现已开始提供 NIM。

NVIDIA 创始人兼首席执行官黄仁勋表示：“每个企业都希望在其运营中融入生成式 AI，但并非每个企业都拥有专门的 AI 研究团队。NVIDIA NIM 可被集成到任意平台中，任何地方的开发者都可以访问，并且可以在任意环境中运行——它正在助力科技行业将生成式 AI 普及到每一个企业组织。”

通过 NVIDIA AI Enterprise 软件平台，企业可以使用 NIM 在生产系统中部署 AI 应用。从下个月开始，NVIDIA 开发者计划的会员可以免费使用 NIM，在其选择的基础设施上进行研究、开发和测试。

40 余个 NIM 微服务为跨模式的生成式 AI 赋能

NIM 容器是预构建的，以加速模型部署，可用于 GPU 加速推理，其中包括 NVIDIA CUDA^® 软件、NVIDIA Triton 推理服务器™和 NVIDIA TensorRT™-LLM 软件。

在 ai.nvidia.com 网站上，超过 40 个 NVIDIA 及社区模型可作为 NIM 端点进行体验，其中包括 Databricks DBRX、谷歌开放模型 Gemma、Meta Llama 3、微软 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。

开发者现在可以从 Hugging Face AI 平台上，访问 Meta Llama 3 模型的 NVIDIA NIM 微服务。通过基于 NVIDIA GPU 的 Hugging Face 推理端点，只需点击几下，开发者就能在其选择的云平台上轻松地访问和运行 Llama 3 NIM。

企业可以使用 NIM 来运行用于生成文本、图像和视频、语音以及数字人的应用。借助面向数字生物学的 NVIDIA BioNeMo™ NIM 微服务，研究人员可以构建新的蛋白质结构，加速药物研发。

数十家医疗公司正在一系列应用中部署 NIM，以便在手术规划、数字助手、药物研发和临床试验优化等一系列应用中为生成式 AI 推理提供动力。

借助全新的 NVIDIA ACE NIM 微服务，开发者可以在客户服务、远程医疗、教育、游戏和娱乐等应用中，轻松构建和操作栩栩如生的交互式数字人。

数百家 AI 生态系统合作伙伴已嵌入 NIM

包括 Canonical、Red Hat、Nutanix 和 VMware（已被博通收购）在内的平台提供商已在开源 KServe 或企业解决方案方面支持 NIM。AI 应用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 来支持生成式 AI 推理。

领先的 AI 工具和 MLOps 合作伙伴（包括亚马逊 SageMaker、微软 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases）也已将 NIM 嵌入到其平台，使开发者能够通过优化推理来构建和部署特定领域的生成式 AI 应用。

全球系统集成商和服务交付合作伙伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨询服务（TCS）和威普罗（Wipro）已经建立了 NIM 能力，以帮助全球企业快速开发和部署生产型 AI 策略。

企业几乎可以在任何地方运行支持 NIM 的应用，包括在全球基础设施制造商思科、戴尔科技、慧与、联想和超微，以及服务器制造商永擎电子、华硕、技嘉、鸿佰科技、英业达、和硕、QCT、纬创资通和纬颖科技的 NVIDIA 认证系统™ 上运行。NIM 微服务也已集成至亚马逊云科技、谷歌云、Azure 和 Oracle 云基础设施中。

行业巨头通过 NIM 加强生成式 AI

行业领导者 Foxconn、和硕、Amdocs、劳氏公司、 ServiceNow 和西门子利用 NIM 来加强生成式 AI 应用，涉及制造业、医疗、金融服务、零售、客户服务等领域：

●Foxconn——作为全球最大的电子制造商，Foxconn 正在使用 NIM 开发针对特定领域的大语言模型（LLM），并将这些模型嵌入到其 AI 工厂的各种内部系统和流程中，用于智能制造、智慧城市和智能电动汽车。

●和硕——这家台湾电子制造公司正在将 NIM 用于 Project TaME，这是一个当地的混合专家（MoE）模型，旨在推动各行各业开发本地化的 LLM。

●Amdocs——这家为通信和媒体公司提供软件和服务的全球领先供应商正在使用 NIM 运行客户计费 LLM，该模型显著降低了 token 成本，将准确性提高了 30%，并将延迟降低了 80%，从而实现近乎实时的响应。

●劳氏公司——这家《财富》杂志 50 强家居装饰公司正在将生成式 AI 用于各种用例，例如，该零售商正在利用 NVIDIA NIM 推理微服务来提升员工和客户的体验。

●ServiceNow——这个用于业务转型的 AI 平台于今年早些时候宣布成为首批接入 NIM 的平台提供商之一，帮助客户实现快速、可扩展且更具成本效益的 LLM 开发和部署。NIM 微服务已经集成到 Now AI 多模态模型中，可供添加了 ServiceNow 的生成式 AI 功能 Now Assist 的客户使用。

●西门子——作为专注于工业、基础设施、交通和医疗领域的全球科技公司，西门子正在将其运营技术与 NIM 微服务整合，用于车间 AI 工作负载。此外，西门子还利用 NIM 为其 Machine Operators 构建了一个本地部署版本的 Industrial Copilot。

可用性

开发者可在 ai.nvidia.com 网站上免费试用 NVIDIA 微服务。企业可通过在 NVIDIA 认证系统和领先的云平台上运行的 NVIDIA AI Enterprise 来部署生产级 NIM 微服务。从下个月开始，NVIDIA 开发者计划的会员将能够免费使用 NIM 来进行研究和测试。

观看黄仁勋在 COMPUTEX 上发表的主题演讲以了解有关 NVIDIA NIM 的更多资讯。

关于 NVIDIA

NVIDIA (NASDAQ: NVDA) 是加速计算领域的全球领导者。