工信部在2023年底发布了《人形机器人创新发展指导意见》,为我国人形机器人的未来发展制定了明确的时间表和路线图。根据《指导意见》,到2025年,我国人形机器人领域将初步建立创新体系,并在关键技术上取得重要突破,包括“大脑、小脑、肢体”等核心技术的研发。届时,我国的人形机器人整机产品有望达到国际先进水平,并实现规模化生产。
人形机器人最大的难点在于学习/训练平台,目前尚未有专门针对人形机器人所开发的产品。日前NVIDIA在2024 GTC期间发布了最新的Project GR00T,将有助于推动人形机器人方面的开发。
GR00T是一个具有广泛应用潜力的基础模型,有望彻底改变仿人机器人在模拟环境和现实场景中的学习方式。通过NVIDIA强大的GPU加速技术,GR00T在模拟训练中实现了显著提升,使得人形机器人能够通过模仿学习快速掌握新技能。同时,结合NVIDIA Isaac Lab的强化学习工具,GR00T能够从有限的人类演示中汲取知识,甚至能够根据视频数据自主生成复杂的机器人动作。
该模型设计非常先进,它能够接收多模式指令——这些指令可能包括语音、手势、文本等多种格式——以及机器人过去的交互数据作为输入信息。通过对这些信息的综合处理,GR00T能够生成精确、高效的机器人动作指令,从而指导机器人在各种任务中表现出色。
GR00T 驱动的机器人将能够理解自然语言,并通过观察人类行为来模仿动作——快速学习协调、灵活性和其它技能,以便导航、适应现实世界并与之互动。在 GTC 大会的主题演讲中,NVIDIA 创始人兼首席执行官黄仁勋展示了数台这样的机器人是如何完成各种任务的。
NVIDIA 创始人兼首席执行官黄仁勋表示:“开发通用人形机器人基础模型是当今 AI 领域中最令人兴奋的课题之一。世界各地的机器人技术领导者正在汇集各种赋能技术,致力于在人工通用机器人领域实现突破。”
Isaac 平台将对GR00T优化
GR00T所依赖的Isaac工具现已全面升级,为各类机器人打造全新基础模型,重要的工具包括Isaac Lab与OSMO。
Isaac Lab,这一全新打造的轻量级应用,专为强化学习而生。它基于Isaac Sim构建,充分利用GPU加速技术,实现性能优化,可并行运行数千个机器人学习仿真,支持真实数据和合成数据。这一创新为具身智能模型的训练提供了强大支持。
与此同时,OSMO工具的引入,为异构计算的机器人开发工作负载带来了革命性变革。它能在分布式环境中高效协调数据生成、模型训练以及软硬件在环的工作流程,从而大幅提升开发效率。
此外,NVIDIA还隆重推出了Isaac Manipulator和Isaac Perceptor等一系列预训练机器人模型、库及参考硬件。Isaac Manipulator可以为机械臂实现灵活性和模块化AI功能,其强大的基础模型和GPU加速库,实现了高达80倍的路径规划加速以及零样本感知的效率提升。这一突破使得开发者能够轻松实现更多新型机器人任务的自动化。目前,安川电机、泰瑞达旗下子公司优傲、PickNik Robotics、Solomon、READY Robotics以及Franka Robotics等业界领军企业已成为早期生态系统合作伙伴。
而Isaac Perceptor则提供了多摄像头和3D环绕视觉功能,这些先进技术正被越来越多的制造业和物流业自主移动机器人所采用。它们不仅提高了工作效率,更好地保护了工人安全,同时还显著降低了错误率和成本。ArcBest、比亚迪和凯傲集团等知名企业已选择该技术,实现将物料搬运等操作提升至全新的自主化水平。
BlackWell架构的Jetson Thor发布
另外,在GTC期间,NVIDIA 还发布了一款基于 NVIDIA Thor 系统级芯片(SoC)的新型人形机器人计算机 Jetson Thor。
Jetson Thor是一个全新的SoC计算平台,能够执行复杂的任务并安全、自然地与人和机器交互,具有针对性能、功耗和尺寸优化的模块化架构。
该 SoC 包括一个带有 transformer engine 的下一代 GPU,其采用 NVIDIA Blackwell 架构,可提供每秒 800 万亿次8位浮点运算 AI 性能,以运行 GR00T 等多模态生成式 AI 模型。凭借集成的功能安全处理器、高性能 CPU 集群和 100GB 以太网带宽,大大简化了设计和集成工作。
Blackwell 架构是2024年GTC上发布的下一代GPU,具有更强的浮点 AI 推理能力。
包括1X Technologies、Agility Robotics、Apptronik、波士顿动力公司、Figure AI、傅利叶智能、Sanctuary AI、宇树科技和小鹏鹏行等公司都表示要与NVIDIA在人形机器人上进行合作。