NVIDIA NIM 革命性地改变模型部署,将全球数百万开发者转变为生成式 AI 开发者

发布时间:2024-06-03  
  • 来自 AI 生态系统各个领域的 150 余家合作伙伴嵌入了 NIM 推理微服务,将企业级 AI 应用的部署时间从数周缩短至几分钟

  • NVIDIA 开发者计划会员可免费使用 NIM 来进行研究、开发和测试


image.png


COMPUTEX—2024 年 6 月 2 日—NVIDIA 于今日宣布,全球 2,800 万开发者现可下载 NVIDIA NIM™——一种推理微服务,通过经优化的容器的形式提供模型——以部署在云、数据中心或工作站上。借助 NVIDIA NIM,开发者能够轻松地为 copilots、聊天机器人等构建生成式 AI 应用,所需时间从数周缩短至几分钟。


这些新的生成式 AI 应用正变得越来越复杂,通常需要使用具有不同功能的多个模型来生成文本、图像、视频、语音等。NVIDIA NIM 提供了一种简单、标准化的方式,将生成式 AI 添加到应用中,显著提高了开发者的工作效率。


NIM 还可使企业能够最大限度利用其基础设施投资。例如,相较于未使用 NIM 的情况下,在 NIM 中运行 Meta Llama 3-8B 时,后者在加速基础设施上可产生高达 3 倍的生成式 AI token。这使企业能够大幅提高效率,使用相同的计算基础设施来生成更多的结果。


包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和新思科技等近 200 家技术合作伙伴正在将 NIM 集成到他们的平台中,以加快特定领域应用的生成式 AI 部署,例如 copilot、代码助手和数字人虚拟形象。从 Meta Llama 3 开始,在 Hugging Face 上现已开始提供 NIM。


NVIDIA 创始人兼首席执行官黄仁勋表示:“每个企业都希望在其运营中融入生成式 AI,但并非每个企业都拥有专门的 AI 研究团队。NVIDIA NIM 可被集成到任意平台中,任何地方的开发者都可以访问,并且可以在任意环境中运行——它正在助力科技行业将生成式 AI 普及到每一个企业组织。”


通过 NVIDIA AI Enterprise 软件平台,企业可以使用 NIM 在生产系统中部署 AI 应用。从下个月开始,NVIDIA 开发者计划的会员可以免费使用 NIM,在其选择的基础设施上进行研究、开发和测试。



40 余个 NIM 微服务为跨模式的生成式 AI 赋能


NIM 容器是预构建的,以加速模型部署,可用于 GPU 加速推理,其中包括 NVIDIA CUDA® 软件、NVIDIA Triton 推理服务器™和 NVIDIA TensorRT™-LLM 软件。


在 ai.nvidia.com 网站上,超过 40 个 NVIDIA 及社区模型可作为 NIM 端点进行体验,其中包括 Databricks DBRX、谷歌开放模型 Gemma、Meta Llama 3、微软 Phi-3、Mistral Large、Mixtral 8x22B 和 Snowflake Arctic。


开发者现在可以从 Hugging Face AI 平台上,访问 Meta Llama 3 模型的 NVIDIA NIM 微服务。通过基于 NVIDIA GPU 的 Hugging Face 推理端点,只需点击几下,开发者就能在其选择的云平台上轻松地访问和运行 Llama 3 NIM。


企业可以使用 NIM 来运行用于生成文本、图像和视频、语音以及数字人的应用。借助面向数字生物学的 NVIDIA BioNeMo™ NIM 微服务,研究人员可以构建新的蛋白质结构,加速药物研发。


数十家医疗公司正在一系列应用中部署 NIM,以便在手术规划、数字助手、药物研发和临床试验优化等一系列应用中为生成式 AI 推理提供动力。


借助全新的 NVIDIA ACE NIM 微服务,开发者可以在客户服务、远程医疗、教育、游戏和娱乐等应用中,轻松构建和操作栩栩如生的交互式数字人。


数百家 AI 生态系统合作伙伴已嵌入 NIM


包括 Canonical、Red Hat、Nutanix 和 VMware(已被博通收购)在内的平台提供商已在开源 KServe 或企业解决方案方面支持 NIM。AI 应用公司 Hippocratic AI、Glean、Kinetica 和 Redis 也在部署 NIM 来支持生成式 AI 推理。


领先的 AI 工具和 MLOps 合作伙伴(包括亚马逊 SageMaker、微软 Azure AI、Dataiku、DataRobot、deepset、Domino Data Lab、LangChain、Llama Index、Replicate、Run.ai、Saturn Cloud、Securiti AI 和 Weights & Biases)也已将 NIM 嵌入到其平台,使开发者能够通过优化推理来构建和部署特定领域的生成式 AI 应用。


全球系统集成商和服务交付合作伙伴埃森哲、德勤、Infosys、Latentview、Quantiphi、SoftServe、塔塔咨询服务(TCS)和威普罗(Wipro)已经建立了 NIM 能力,以帮助全球企业快速开发和部署生产型 AI 策略。


企业几乎可以在任何地方运行支持 NIM 的应用,包括在全球基础设施制造商思科、戴尔科技、慧与、联想和超微,以及服务器制造商永擎电子、华硕、技嘉、鸿佰科技、英业达、和硕、QCT、纬创资通和纬颖科技的 NVIDIA 认证系统™ 上运行。NIM 微服务也已集成至亚马逊云科技、谷歌云、Azure 和 Oracle 云基础设施中。


行业巨头通过 NIM 加强生成式 AI


行业领导者 Foxconn、和硕、Amdocs、劳氏公司、 ServiceNow 和西门子利用 NIM 来加强生成式 AI 应用,涉及制造业、医疗、金融服务、零售、客户服务等领域:


  • Foxconn——作为全球最大的电子制造商,Foxconn 正在使用 NIM 开发针对特定领域的大语言模型(LLM),并将这些模型嵌入到其 AI 工厂的各种内部系统和流程中,用于智能制造、智慧城市和智能电动汽车。


  • 和硕——这家台湾电子制造公司正在将 NIM 用于 Project TaME,这是一个当地的混合专家(MoE)模型,旨在推动各行各业开发本地化的 LLM。


  • Amdocs——这家为通信和媒体公司提供软件和服务的全球领先供应商正在使用 NIM 运行客户计费 LLM,该模型显著降低了 token 成本,将准确性提高了 30%,并将延迟降低了 80%,从而实现近乎实时的响应。


  • 劳氏公司——这家《财富》杂志 50 强家居装饰公司正在将生成式 AI 用于各种用例,例如,该零售商正在利用 NVIDIA NIM 推理微服务来提升员工和客户的体验。


  • ServiceNow——这个用于业务转型的 AI 平台于今年早些时候宣布成为首批接入 NIM 的平台提供商之一,帮助客户实现快速、可扩展且更具成本效益的 LLM 开发和部署。NIM 微服务已经集成到 Now AI 多模态模型中,可供添加了 ServiceNow 的生成式 AI 功能 Now Assist 的客户使用。


  • 西门子——作为专注于工业、基础设施、交通和医疗领域的全球科技公司,西门子正在将其运营技术与 NIM 微服务整合,用于车间 AI 工作负载。此外,西门子还利用 NIM 为其 Machine Operators 构建了一个本地部署版本的 Industrial Copilot。


可用性


开发者可在 ai.nvidia.com 网站上免费试用 NVIDIA 微服务。企业可通过在 NVIDIA 认证系统和领先的云平台上运行的 NVIDIA AI Enterprise 来部署生产级 NIM 微服务。从下个月开始,NVIDIA 开发者计划的会员将能够免费使用 NIM 来进行研究和测试。



文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>