持续推进人形机器人发展,NVIDIA又继续简化机器人开发

发布时间:2024-07-30  

作为人形机器人的元年,2024年刚过去一半,就又有重磅事件发生。日前,在SIGGRAPH大会上,NVIDIA又宣布了一系列大消息,为机器人制造商、AI 模型开发者和软件制造商提供一套服务、模型以及计算平台,以开发、训练和构建下一代人形机器人。

目前,人形机器人进展神速,但是开发过程中也暴露了诸多痛点与不足。

首先,是数据获取困难:训练机器人模型需要大量高质量的数据,而从现实世界中获取这些数据既昂贵又耗时。

其次,是开发周期长:传统的机器人开发流程通常需要数月甚至更长时间,涉及多个复杂的步骤和协调大量的计算资源。 

第三,是技术复杂度高:机器人开发涉及许多不同的领域和技术,从硬件设计到软件编写,再到AI模型的训练和部署。

NVIDIA 创始人兼首席执行官黄仁勋所希望的,是“发展NVIDIA机器人堆栈技术,面向全球人形机器人开发者和公司开放访问,让开发者能够使用最符合其需求的平台、加速库和 AI 模型。”

整套产品包括用于机器人仿真和学习的全新 NVIDIA NIM微服务和框架、用于运行多阶段机器人工作负载的 NVIDIA OSMO 编排服务,以及支持 AI 和仿真的远程操作工作流,该工作流允许开发者使用少量人类演示数据来训练机器人。

同时,NVIDIA还推出了针对软硬件开发的全新人形机器人开发者计划,可以让人形机器人公司实现早期访问。

这些计划,降低了人形机器人的开发门槛,且可以加速开发周期,从而使2024年成为当之无愧的人形机器人“元年”。

NVIDIA推出NIM微服务

NIM 微服务提供了由 NVIDIA 推理软件提供支持的预构建容器,使开发者能够将部署时间从数周缩短到几分钟。机器人专家将能够通过两项新的 AI 微服务,在 NVIDIA Isaac Sim中增强生成式物理 AI 仿真工作流。

其中,MimicGen NIM 可根据 Apple Vision Pro 等空间计算设备记录的远程操作数据,生成合成运动数据。Robocasa NIM 可在OpenUSD中生成机器人任务和仿真就绪环境。

OSMO云原生托管协调开发流

NVIDIA OSMO 是一项云原生托管服务,允许用户跨分布式计算资源来协调和扩展复杂的机器人开发工作流,无论是在本地还是在云端。

OSMO 大大简化了机器人训练和仿真工作流,将部署和开发周期从数月缩短到一周内。用户可以对各种任务进行可视化管理,包括合成数据生成、模型训练、强化学习以及大规模的人形机器人、自主移动机器人和工业机械臂软件在环测试。

更方便的捕获工作流数据 

训练人形机器人的基础模型需要大量的数据。远程操作是获取人类演示数据的方法之一,  但这个过程正变得越来越昂贵且漫长。

在 SIGGRAPH 计算机图形大会上展示的 NVIDIA AI 和 Omniverse 远程操作参考工作流, 研究者和 AI 开发者能够从极少量远程捕捉的人类演示中生成大量合成运动和感知数据。

具体步骤为:首先,  开发者使用 Apple Vision Pro 捕获少量远程操作演示,  随后在 NVIDIA  Isaac Sim 中仿真这些录像, 并使用 MimicGen NIM 基于录像生成合成数据集。

开发者可以使用真实数据和合成数据对 Project GR00T 人形机器人基础模型进行训练,以节省时间和降低成本。然后,他们可以使用 Isaac Lab 中的 Robocasa NIM 生成经验并重新训练机器人模型。在整个工作流中,NVIDIA OSMO 将计算任务无缝地分配给不同的资源,为开发者减少了数周的管理工作量。

通用机器人平台公司傅利叶看到了使用仿真技术综合生成训练数据的优势。

傅利叶首席执行官 Alex Gu 表示:  "人形机器人的开发极其复杂,  这项工作需要从现实世界中繁琐地获取大量真实数据。NVIDIA 的全新仿真和生成式 AI 开发者工具将有助于引导和加速我们的模型开发工作流。"

全新的人形机器人开发者计划

NVIDIA 提供了三个计算平台来简化人形机器人的开发,分别是:用于训练模型的 NVIDIA AI 超级计算机;基于 Omniverse 构建的 NVIDIA Isaac Sim,使机器人可以在仿真世界中学习和完善技能;以及用于运行模型的 NVIDIA Jetson Thor 人形机器人计算机。开发者可以根据具体需求来访问和使用全部平台或其中的任何部分。

通过新的 NVIDIA 人形机器人开发者计划, 开发者可以提前获取这些新产品以及最新版本的NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形机器人基础模型。

首批加入早期访问计划的企业有 1x、波士顿动力公司、字节跳动 ByteDance Research、 Field  AI、 Figure、傅利叶、银河通用、逐际动力、 Mentee、 Neura Robotics、星动纪元和 Skild AIo。

波士顿动力公司首席技术官 Aaron Saunders 表示:“波士顿动力公司与 NVIDIA 在推动机器人技术发展方面有着悠久的密切合作历史。我们非常高兴看到这项工作的成果正在加速整个行业的发展。而要想获得最先进的技术,早期访问计划无疑是最佳的途径。”

 

 


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>