Eureka!NVIDIA 研究突破为机器人学习注入新动力

发布时间:2023-10-24  

NVIDIA Research 开发的一款名为 Eureka 的新型 智能体可以教复杂的技能,它教会了机器人手快速转笔,并且第一次转得像人类一样好。

上面视频中所展示的令人惊叹的“魔术”是机器人通过 Eureka 学会熟练完成的近 30 项任务之一,Eureka 可以自动编写奖励算法来训练机器人。

Eureka 还教会了机器人完成打开抽屉和柜子、抛接球、操作剪刀等任务。

于 10 月 20 日发布的这一 Eureka 研究包含一篇论文和该项目的 AI 算法,开发者可以使用 NVIDIA Isaac Gym(一款用于强化学习研究的物理模拟参考应用)进行实验。Isaac Gym 基于 NVIDIA Omniverse 而构建,后者是一个用于基于 OpenUSD 框架构建 3D 工具和应用的开发平台。Eureka 自身是由 GPT-4 大型语言模型驱动的。

NVIDIA AI 研究高级总监、Eureka 论文作者之一的 Anima Anandkumar 表示:“在过去十年,强化学习取得了空前成功,但依然面临许多挑战,比如奖励设计需要不断试错才能完成。Eureka 是朝着开发将生成式和强化学习方法结合以解决这些艰巨的任务的新算法迈出的第一步。”

AI训练机器人

据该论文介绍,Eureka 生成的奖励程序(可让机器人进行试错学习)在超过 80% 的任务上优于人类专家编写的程序,这使得机器人的平均性能提高了 50% 以上。

Eureka 教机械臂打开一个抽屉。

该 AI 智能体使用 GPT-4 LLM 和生成式 AI 编写软件代码,为机器人进行强化学习提供奖励。它不需要任何特定任务提示或预定义的奖励模板,并且能够随时结合人类的反馈改进其奖励,使结果更加精准地符合开发者的愿望。

利用 Isaac Gym 中的 GPU 加速模拟,Eureka 能够快速评估大批奖励候选者的质量,从而提高训练效率。

Eureka 随后会基于训练结果汇总关键统计数据,并指导 LLM 改进其奖励函数的生成。通过这种方式,AI 可以自我完善。Eureka 教会了各类机器人,包括四足机器人、双足机器人、四旋翼机器人、灵巧手、协作机器人臂等,来完成不同类型的任务。

该研究论文对 20 个 Eureka 训练任务进行了深入评估,这些任务基于开源的灵巧性基准,要求机器人手展示一系列复杂的双手任务。

这些来自九个 Isaac Gym 环境的测试结果通过使用 NVIDIA Omniverse 生成的可视化进行了展示。

类人型机器人通过 Eureka 学习跑步步态。

该项目的贡献者之一、NVIDIA 高级研究科学家 Linxi “Jim” Fan 表示:“Eureka 是一个独特的组合,将大型语言模型与 NVIDIA GPU 加速的模拟技术相结合,可以实现灵巧的机器人控制,并且为艺术家提供了一种制作物理逼真动画的新方法。”

除了 NVIDIA Research 最近取得的进展(比如使用 GPT-4 构建的能够自主玩 《我的世界》的 AI 智能体 Voyager)之外,这项突破性的研究成果也必将让开发者们脑洞大开。

NVIDIA Research 由全球数百名科学家和工程师组成,团队专注于 、计算机图形学、计算机视觉、自动驾驶汽车、学等领域的研究。

进一步了解 Eureka 与 NVIDIA Research。

文章来源于:21IC    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>