2024年GTC大会上,NVIDIA CEO 黄仁勋一口气展示了 9 款类人机器人。周日,他在Computex 2024演讲中再次强调了机器人与AI。
如今越来越多的客户选择Isaac平台,并公布了更多合作细节与产品,也印证了NVIDIA在机器人领域构建生态系统的决心。这不仅展现了NVIDIA在推动机器人技术发展方面的领导地位,也彰显了其致力于通过创新合作和开放平台策略,加速AI和自动化技术在工业、物流等多个领域的应用和普及。
“下一波AI是物理AI,AI能够理解物理定律,并与我们协同工作。”黄仁勋说道。“一切都将由机器人完成,所有工厂都将由机器人完成。工厂将协调机器人,而这些机器人将制造出机器人产品。”
物理 AI 是“能够理解指令并在现实世界中自主执行复杂任务的模型”,该公司的Isaac AI 机器人开发平台已用于提高工厂和仓库的效率。
目前全球有超过 500 万台预编程机器人正在接受测试和验证。
NVIDIA也介绍了多个同合作伙伴开展的项目,包括比亚迪电子、西门子、泰瑞达和 Alphabet 旗下公司 Intrinsic,都采用 NVIDIA Isaac 机器人平台开发自主机械臂、人形机器人和移动机器人等。
NVIDIA Isaac 平台采用模块化设计,使企业能够同时采用单项或多项技术。
ArcBest、比亚迪电子、Gideon、idealworks 和 RGo Robotics 等公司正在利用 Isaac Perceptor 开发先进的基于感知的自主移动机器人。
Solomon、达明机器人、Vention 和安川电机等公司正在利用 Isaac Manipulator 打造基于 AI 的机械臂。
目前,100 多家公司正在采用 Isaac Sim 来仿真、测试和验证机器人应用,其中包括海克斯康、富世华和 MathWorks。Agility、波士顿动力公司、Figure AI、傅利叶智能和 Sanctuary AI 正在使用 Isaac Lab。
NVIDIA 创始人兼首席执行官黄仁勋表示: “机器人时代已经到来。有朝一日,移动的物体都将实现自主运行。我们正致力于通过推进 NVIDIA 机器人堆栈的发展,来加速生成式物理 AI,其中包括用于仿真应用的 Omniverse、Project GR00T 人形机器人基础模型,以及 Jetson Thor 机器人计算平台等。”
英伟达正在与西门子携手
西门子利用NVIDIA Isaac Sim加速开发工业机器人软件,如Robot PickAI和Robot Pack AI,这些AI软件使机器人能自主拾取和包装物品。西门子的AI技术易于与工业PC集成,推动机器人技术发展。该 AI 视觉软件提供认知型 AI 驱动功能,使工业机器人系统能够自主、可靠地拾取和包装任意物品,无需用户事先对 AI 进行任何培训。两家公司计划扩大合作关系,并在今年晚些时候的 SPS 展览会上宣布新的功能。
西门子提供工业级 AI,并通过与自动化解决方案无缝集成,使其在采用 NVIDIA 技术驱动的西门子工业 PC 基础上部署时易于使用,从而将其推向机器人技术的最前沿,将视觉 AI 带入工业机器人生态系统。
西门子CEO Roland Busch认为AI机器人将推动工业数字化转型,释放人类从事创造性工作。NVIDIA与西门子合作,让客户利用AI创新,提高效率和竞争力。
比如NVIDIA、西门子和Teradyne Robotics高管今年在丹麦奥登塞曾庆祝Teradyne新总部启用,并探讨机器人行业进步。奥登塞有160多家机器人公司,为行业贡献巨大。Teradyne新中心旨在促进创新,改变机器人和自主机器环境。
多方讨论强调了合作对创新的重要性,以及物理AI在企业和工作场所的应用。NVIDIA与Teradyne Robotics合作开发基于AI的内部物流解决方案,展示了生态系统合作的力量。
人工智能在各行各业取得进展,通过机器学习、计算机视觉等技术,赋予机器人认知能力。NVIDIA Isaac平台提高机器人自主性,与UR合作将AI融入机器人软件技术。
人工智能和计算技术将重新定义机器人领域,使其成为跨行业智能合作伙伴。自动化提高生产效率、安全性,减轻员工压力。AI将改变游戏规则,解决劳动力短缺问题。
Teradyne旗下UR和MiR利用NVIDIA Isaac融入AI自动化,开发新解决方案。NVIDIA Isaac平台模块化设计,使企业灵活采用技术。
Teradyne Robotics 集团总裁 Ujjwal Kumar说道:“我使用‘物理 AI’一词,而不是‘数字 AI’,因为我们通过将其应用于物理世界,将 AI 提升到了一个全新的水平。”
Intrinsic实现机器人抓握功能
Intrinsic公司CEO Wendy Tan White表示,他们与NVIDIA的机器人团队合作,成功测试了NVIDIA机器人平台技术,包括NVIDIA Isaac Manipulator基础模型,利用Intrinsic平台实现了更优秀的机器人抓握技能。这个原型是针对合作伙伴和客户之一Trumpf Machine Tools指定的工业应用而开发的。该抓取技能是通过NVIDIA Isaac Sim生成的100%合成数据进行训练的,可以构建复杂的解决方案,这些解决方案能够在模拟和现实中执行自适应和多功能的物体抓取任务。不需要对特定的夹持器进行硬编码以某种方式抓取特定物体,而是使用基础模型和合成训练数据自动生成特定夹持器和物体的高效代码来完成任务。
NVIDIA机器人和边缘计算副总裁Deepu Talla表示:“借助最新的AI基础模型,公司可以编写各种机器人配置,这些配置能够泛化并与现实环境中的各种物体进行交互。随着Intrinsic与NVIDIA之间合作的不断加深,我们将能够帮助公司扩大和自动化其工业制造业务。”
ArcBest将继续与NVIDIA合作
在Computex上,ArcBest宣布,得益于技术的新进展,它将继续与NVIDIA合作,在其Vaux Smart Autonomy机器人软件中采用Isaac 3D感知机器人平台。
ArcBest在3月份的NVIDIA GTC大会上宣布成为NVIDIA Isaac Perceptor的早期采用者,也是首批通过与NVIDIA合作使用该技术的公司之一。这种基于视觉的3D环绕感知技术对于在仓库、配送中心和制造工厂中实现更安全、更高效的物料处理流程至关重要。
Vaux Smart Autonomy机器人可以更好地识别物体、跟踪人体运动并在导航过程中做出明智的决策。该技术可以实现以下功能:
在不可预测的条件下实现更准确的移动、更好地避开障碍物并实现更安全的整体环境。
通过利用基于视觉的机器人周围环境的3D视图,改善动态环境(例如散装堆放或交叉码头仓库设施)中的定位能力。
降低成本,使客户更容易获得该技术。
比亚迪开发全系列自主移动机器人
比亚迪集团在全球电子、汽车、新能源和轨道交通四大行业都拥有强大的制造实力。其子公司比亚迪电子(BYDE)是全球领先的高科技创新产品供应商,正在使用 NVIDIA Isaac Sim 和 Isaac Perceptor 开发全系列自主移动机器人,为工厂提供完整的物流解决方案。
比亚迪电子高级业务开发总监 Chris Yotive 表示:“比亚迪非常重视帮助客户加快物流应用的部署。通过与 NVIDIA 合作,我们开发出了由 NVIDIA Isaac 驱动的先进自主移动机器人,这将提高工人的安全性,降低生产成本,并为我们的客户提高生产智能化水平。”
Gideon实现拖车装卸自动化
作为拖车装卸流程自动化的先行者,Gideon是NVIDIA Isaac机器人平台的早期采用者之一。通过与NVIDIA的合作,Gideon将充分利用NVIDIA Isaac Perceptor在AMR领域的潜力,进一步优化供应链中的物料处理流程。
Gideon首席执行官Josip Cesic表示:“Gideon与NVIDIA的合作将通过结合Gideon的AI驱动AMR技术与NVIDIA的加速计算,帮助解决供应链中尚未解决的复杂机器人和自动化挑战。”
自动化解决方案正在改变仓库运营,提高效率和成本效益。美国每年在拖车装卸上的花费超过1500亿美元,而这一工作流程基本上尚未实现自动化。通过实施自动化卡车装卸解决方案,公司可以减少体力劳动,实现显著的成本节约,并提高安全性。
Gideon的人工智能自动叉车TREY集成到装卸流程中,可以改变供应链运营,简化工作流程并实现显著的效率提升,同时减少工作场所伤害。关键的支持技术是人工智能和3D视觉感知堆栈,它使机器人能够以详细的语义和密集的几何形状理解3D世界,从而能够在动态环境中与人类并肩工作,轻松、可靠、安全地运行。
idealworks与NVIDIA的合作创新
idealworks首席技术官Jimmy Nassif表示:“在我们的创新之旅中,我们与NVIDIA的合作多年来一直坚定不移,标志着我们长期致力于革新工业自动化。这种持久的合作关系使我们能够不断突破机器人技术的极限。”
与NVIDIA技术集成的idealworks产品的主要亮点包括:
智能自动化平台AnyFleet:AnyFleet平台是idealworks机器人生态系统的核心,它将利用NVIDIA Omniverse Cloud API在多个平台之间实现无缝数据交换,包括支持NVIDIA RTX的渲染环境和基于高保真物理的模拟。这种可访问的实时HMI数据与高质量NVIDIA RTX驱动的模拟技术的集成,有助于idealworks使用idealworks解决方案提高运营效率并增强自动化。
自主移动机器人iw.hub:由NVIDIA Jetson Orin提供支持的iw.hub将利用NVIDIA JetPack软件开发套件通过并行计算加速实时决策,在自主导航和物料搬运方面提供高性能和可靠性。这款尖端的AMR证明了idealworks致力于突破自动化界限的承诺。
机器人操作系统iw.os:iw.os将采用NVIDIA Isaac Perceptor,具有增强的视觉AI和传感器融合功能。该先进系统能够实现精确的物体识别和环境感知,从而促进更智能、更安全的机器人操作。
3天就能完成AMR部署的RGo Robotics
RGo Robotics,一家领先的AI驱动、位置感知型人工智能平台提供商,于2024年6月2日宣布,将NVIDIA Isaac机器人技术集成到RGo Robotics平台中,以推进AI驱动的自动化。
RGo的Perception Engine是一个经过验证并已部署的视觉和AI解决方案,用于定位、障碍物检测和场景理解。它将集成NVIDIA Isaac Perceptor技术,为基于AI的自主移动机器人提供先进的视觉能力。这个集成的软件栈与新发布的NVIDIA Nova Orin开发套件兼容。
使用RGo的强大且可靠的感知解决方案与NVIDIA Isaac Perceptor,在NVIDIA Jetson Orin模块上运行,客户可以在几个月内部署智能移动机器人。基于Isaac Perceptor加速库的移动机器人可以轻松快速地在新设施中设置,并在任何环境中可靠运行——即使是在高度变化的复杂、动态环境中——并室内外自动化任务。
通过使用RGo与Isaac Perceptor,客户可以利用平台生成的独特数据,包括定位、动态映射以及几何和语义理解,以增强具有GenAI驱动自主性的智能机器人,自然语言人机交互、高级分析和洞察。
利用NVIDIA Isaac软件工具包以及NVIDIA Metropolis视觉AI开发工具构建、部署和扩展视觉AI和生成AI,RGo可以提供高级功能,如仅使用摄像头生成设施地图和识别障碍物,包括像地板上的叉车这样非常具有挑战性的对象,以及其他特定客户需求的独特功能。
RGo Robotics的联合创始人兼首席执行官Amir Bousani表示:“在NVIDIA Jetson Orin模块上运行的RGo Perception Engine已经部署在动态和复杂的仓储和制造环境中,帮助在以前不可能的地方实现智能自动化。RGo Perception Engine与NVIDIA Isaac Perceptor的扩展集成和可用性将帮助更多客户部署能够在任何环境中可靠运行的更智能的移动机器。视觉感知是机器人革命中生成AI的推动者。”
所罗门先进的箱体拾取功能
所罗门(Solomon)作为先进视觉和机器人解决方案领域的领导者,在COMPUTEX 2024上宣布与NVIDIA合作,重点是将Solomon的产品与NVIDIA Isaac机器人平台相结合,以增强Solomon的3D机器人视觉和增强智能解决方案。
Solomon首席执行官陈政隆表示:“我们很高兴将NVIDIA Isaac平台集成到我们的产品中。NVIDIA先进的AI和机器人工具将增强我们的产品在3D机器视觉、机器人控制和增强智能方面的能力,帮助推动工业自动化领域的更大创新。”
此次合作的一大亮点是Solomon的箱体拾取系统,该系统通过基于NVIDIA Isaac ROS的NVIDIA Isaac Manipulator加速库进行了增强。与传统算法相比,它的路径规划和执行速度提高了8倍,路径奇异点的发生率降低了50%。结合AccuPick先进的图像识别功能,这些进步可以在不影响周期时间的情况下实现更小的机器人单元,这对于工厂高效的箱体拾取和物流中心的订单拾取至关重要。
达明机器人利用Issac Sim缩短70%编程时间
达明机器人(Techman Robot)通过使用NVIDIA Isaac Sim这一机器人模拟和合成数据生成的应用程序框架,成功将机器人编程时间缩短了70%,周期时间缩短了20%,显著降低了时间和成本。数字孪生技术通过虚拟建模机器人及其工作环境,为协作机器人提供了强大的支持。利用生成式AI,在虚拟环境中可以生成、测试和优化数以万计的模拟数据点,训练超级AI模型,推动各行业的转型。Techman Robot还采用了NVIDIA Isaac Manipulator,这是NVIDIA加速库的工作流程,使机械手机器人能够感知、理解和与其环境互动。
Techman Robot推出了重新定义新一代协作机器人的TM AI Cobot,它具备内置智能视觉与AI。在近期推出的拆垛应用中,TM AI Cobot不仅收集了不同大小箱子的数千个真实数据点,还利用NVIDIA Isaac Sim基于OpenUSD生成的合成数据,生成了90%所需数据。这些虚拟数据有助于弥补与现实世界的数据差距,并训练箱子检测超级AI模型,与TM AI Cobot软硬件的全面整合,将为物流行业带来革命性的变化。
在COMPUTEX 2024上,Techman Robot及其合作伙伴展示了使用NVIDIA Omniverse平台的数字孪生技术。QCT展示了智能工厂和5G解决方案,MSI展示了结合智能视觉和AI协作机器人的AMR交付解决方案,YUAN则使用TM AI协作机器人进行AI检查。Techman Robot及其合作伙伴正在将智能制造中的数字孪生应用引入电子、仓储、汽车和半导体等行业。
Techman Robot首席运营官Scott Huang表示:“Techman AI Cobot与其他品牌的不同之处在于其内置视觉系统和AI推理引擎。我们使用NVIDIA RTX GPU来增强机器人的AI性能。”
Vention推出适合中小型制造商的自动化实施
作为云制造自动化平台(MAP)的开发者,Vention今天宣布与NVIDIA合作,利用NVIDIA的AI和加速计算技术推进云机器人技术的发展,为中小型制造商提供工业自动化技术。这标志着双方一年来合作的成果,旨在通过人工智能简化工业自动化和机器人项目的实施过程,涵盖从设备设计到操作的各个环节。
Vention的云优先MAP本质上是由人工智能驱动的,它依托于公司自成立以来创建的数十万个机器人单元设计的专有数据集。Vention计划利用这一独特的资产,来简化云端和边缘的用户体验。与NVIDIA的合作重点是利用人工智能以更快、更高效的方式创建近乎精确的数字孪生,使制造商能够在投资之前测试他们的项目。合作的开发领域包括机器人单元的生成设计、副驾驶编程、基于物理的模拟和自主机器人。
结合Vention的模块化硬件和即插即用运动控制技术,与NVIDIA的合作将把尖端人工智能带到制造业的最前沿,目的是扩大中小型制造商获取工业自动化技术的机会。Vention以其用户友好的软件产品和界面而闻名,致力于继续为中小型制造商提供解决方案,使他们能够更快、更有效地采用自动化。
预计此次合作将带来多款Vention新产品,计划在2024年第三季度发布。
Vention创始人兼首席执行官Etienne Lacroix表示:“Vention生态系统结合NVIDIA的机器人技术和AI专业知识,将为制造业复兴和整个行业带来关键创新。现在,即使是最复杂的用例,中小型制造商也可以实现。”
富士康结合数字孪生与Isaac Sim实现全仿真的自主工厂
作为全球拥有超过170家工厂的制造巨头,富士康最近在墨西哥电子工业中心瓜达拉哈拉开设了一家新工厂的数字孪生——一家虚拟工厂,旨在推动工业自动化技术的发展。
在这个虚拟环境中,富士康的工程师们正在定义流程并训练机器人,以确保实体工厂能够高效生产下一代加速计算引擎NVIDIA Blackwell HGX系统。为了设计出最佳的装配线,工程师们需要为数十个重达数百磅的机械臂找到最佳位置,并通过放置数千个传感器和联网摄像机来准确监控整个过程。
富士康董事长刘扬伟表示,公司的数字孪生将引领公司达到新的自动化和工业效率水平,节省时间、成本和能源。基于目前的努力,富士康预计通过模拟工厂提高复杂服务器的制造效率,从而大幅节省成本并每年减少30%以上的千瓦时使用量。
富士康正在与NVIDIA和西门子合作,利用西门子Xcelerator产品组合中的软件构建其数字孪生,包括Teamcenter和NVIDIA Omniverse。NVIDIA和西门子于3月宣布,将把西门子Xcelerator应用程序连接到NVIDIA Omniverse Cloud API微服务,富士康将成为首批采用该组合服务的公司之一。
工程师们将使用Teamcenter和Omniverse API来设计机器人工作单元和装配线,然后使用Omniverse将所有3D CAD元素拉入一个虚拟工厂,在那里他们的机器人将使用NVIDIA Isaac Sim进行训练。
在富士康虚拟工厂内部,机械臂可以借助NVIDIA Isaac Manipulator学习如何观察、抓取和移动物体。例如,机械臂可以学习如何拾起Blackwell服务器并将其放置在自主移动机器人(AMR)上。AMR将学习如何使用NVIDIA Perceptor软件查看和导航工厂车间,该软件可帮助它们构建实时3D地图,以指示任何障碍物。
富士康的AMR由台湾FARobot公司生产,机器人的路线由NVIDIA cuOpt生成和优化,这是一个保持世界纪录的路线优化微服务。这些智能AMR可以绕过障碍物到达目的地,与许多需要遵守工厂车间精心划定的线路的运输机器人不同。
全球约有1000万家工厂,总价值46万亿美元,因此工业数字化对于制造业创新而言是极其重要的。台达电子、联发科、微星和和硕等其他顶级电子产品制造商也在COMPUTEX上展示了他们如何使用NVIDIA AI和Omniverse构建其工厂的数字孪生。他们正在竞相让工厂变得更加灵活、自主和可持续,以满足每年超过10亿部智能手机、个人电脑和服务器的需求。
NVIDIA全栈式支持AI机器人
Isaac 平台带有一整套 NVIDIA 加速库、AI 基础模型和仿真技术,今日起可供机器人制造商集成到其技术堆栈中。
NVIDIA Isaac ROS:一组模块化 ROS 2 软件包,为 ROS 社区开发者提供 NVIDIA 加速和 AI 模型。
NVIDIA Isaac Perceptor:基于 Isaac ROS 构建的参考工作流,为基于 AI 的自主移动机器人提供多摄像头 3D 环视功能。
NVIDIA Isaac Manipulator:基于 Isaac ROS 构建的参考工作流,可简化 AI 机械臂或操纵器的开发,以便无缝感知、理解环境并与其互动。
NVIDIA Isaac Sim:一款基于 NVIDIA Omniverse平台的参考应用,用于仿真、测试和验证物理环境中的机器人,并生成合成数据。
NVIDIA Isaac Lab:一款 Isaac Sim 中的参考应用,针对 AI 机器人基础模型训练中的强化、模仿和迁移学习进行了优化。