生成式 AI 通过 NVIDIA Isaac 平台提高机器人的智能化水平

发布时间:2024-01-09  

生成式 AI 正在重塑价值数万亿美元的产业。NVIDIA 作为智能领域的领跑者,正在抓住这一机遇。

今日,NVIDIA 机器人和边缘计算副总裁 Deepu Talla 在CES上的特别演讲中,详细介绍了 NVIDIA 及合作伙伴是如何将生成式 AI 与机器人技术相结合的。

这一切都是水到渠成,有越来越多的合作伙伴正在使用由 GPU 加速的大语言模型,为各类机器带来前所未有的智能和适应能力,这些合作伙伴包括波士顿动力公司、Collaborative Robotics、Covariant、Sanctuary AI、宇树科技等。

现在正是一个千载难逢的好时机。

Talla 表示:“由 AI 驱动的自主机器人越来越多地应用于提高效率、降低成本和解决劳动力短缺问题。”

共创变革

从一开始,NVIDIA 就一直是这场生成式 AI 变革的核心。

十年前,NVIDIA 创始人兼首席执行官黄仁勋亲手将第一台 NVIDIA DGX AI 超级计算机交付给 OpenAI。如今,得益于 OpenAI 的 ChatGPT,生成式 AI 已成为当代发展最快的技术之一。

而这一切才刚刚开始。

Talla 预测,生成式 AI 的影响将超越文本和图像生成,进入到家庭和办公室、农场和工厂、医院和实验室中。

其关键在于,类似于人类大脑语言中心的大语言模型(LLM),使机器人能够更自然地理解和响应人类指令。这些机器能够不断地向人类、彼此和周围的世界学习。

Talla 表示:“鉴于这些特性,生成式 AI 非常适合用于机器人技术。”

机器人如何使用生成式 AI

Agility Robotics、NTT 和其他公司正在将生成式 AI 整合到他们的机器人中,以帮助理解文本或语音命令。追觅科技的机器人吸尘器,正在由生成式 AI 模型创建的模拟生活空间中接受训练。同时,Electric Sheep 也正在开发一种自动割草的全球范式。

NVIDIA Isaac 和 Jetson 平台等 NVIDIA 技术能够为 AI 机器人的开发和部署提供助力,被超过 120 万名开发人员和 10,000 名客户和合作伙伴所依赖。

其中的许多企业都参加了本周的 CES,包括亚德诺半导体、Aurora Labs、Canonical、追觅创新科技、DriveU、e-con Systems 、Ecotron、Enchanted Tools、GlüxKind、禾赛科技、Leopard Imaging、九号公司(未岚大陆(北京)科技有限公司)、Nodar、奥比中光、QT Group、速腾聚创、Spartan Radar、TDK、Telit、宇树科技、Voyant Photonics 和一径科技等。

双机胜于单机

为了展示该模式的运作方式,Talla 在演讲中展示了将 AI 部署到机器人技术中所必需的双计算机模型(如下),展现出 NVIDIA 在 AI 开发和应用方面的全面性。

第一台计算机被称为“AI 工厂”,是创建和不断改进 AI 模型的核心。

AI 工厂使用了 NVIDIA 数据中心计算基础设施以及 NVIDIA AI 和 NVIDIA Omniverse平台,可以仿真和训练 AI 模型。

第二台计算机代表机器人的运行环境。

运行环境根据应用的不同而有所变化,比如可以是云或数据中心;对于半导体制造中的缺陷检测等任务则是本地服务器;配备多个传感器和摄像头的自主机器也可能成为运行环境。

生成高质量资产和场景

Talla 还重点介绍了 LLM 在打破技术壁垒方面的作用。LLM 可以将普通用户变成技术艺术家,能够创建复杂机器人工作单元或整个仓库仿真。

借助 NVIDIA Picasso等生成式 AI 工具,用户可以根据简单的文字提示来生成逼真的 3D 资产,并将其添加到数字场景中,以实现动态、全面的机器人训练环境。

这一功能还可扩展到在 Omniverse 中创建多样化且符合物理学的场景,从而加强机器人的测试和训练,保证机器人在现实世界中的适用性。

这与生成式 AI 在重新构建机器人部署方式上的变革潜力不谋而合。

以前的机器人是为特定任务而专门制造的,而根据不同任务来修改机器人十分耗时。

Talla 还解释道,LLM 和视觉语言模型领域的进步正在消除这一瓶颈,使我们能够通过自然语言与进行更直观的交互。

这种适应性强、能感知周围环境的机器将很快遍布世界各地。

文章来源于:21IC    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>