自主机器人所面临的关键挑战之一是感知和理解周围的世界。

在ROS World 2021上，NVIDIA发布了向ROS开发者社区提供高性能感知技术的最新项目。这些项目将加速产品开发、提高产品性能，并最终简化为将先进计算机视觉和AI/ML功能整合到基于ROS的机器人应用程序中的任务。

自主机器人所面临的关键挑战之一是感知和理解周围的世界。

在ROS World 2021上，NVIDIA发布了向ROS开发者社区提供高性能感知技术的最新项目。这些项目将加速产品开发、提高产品性能，并最终简化为将先进计算机视觉和AI/ML功能整合到基于ROS的机器人应用程序中的任务。

公告要点：

• 性能最强的实时立体测距解决方案以ROS包的形式提供

• NGC上的所有NVIDIA推理DNN均可以ROS组件的形式提供，并带有图像分割和姿态估计实例

• Isaac Sim中的新合成数据生成（SDG）工作流程，可为视觉AI训练创建大规模生产级数据集

• Omniverse上的NVIDIA Isaac Sim GA版本提供ROS开箱即用支持，是迄今为止对开发者最友好的版本

NVIDIA Isaac ROS GEM – 经过优化的性能

图1. NVIDIA Isaac ROS GEM软件框架图。

Isaac ROS GEM提供图像处理和计算机视觉等组件，其中有针对NVIDIA GPU和Jetson进行高度优化的DNN算法。

重点GEM：立体视觉测距 – 超高的精度和经过优化的性能

当自主机器在环境中移动时，它们必须持续追踪自己的位置。视觉测距通过估算摄像机与其起点的相对位置来解决这个问题。Isaac ROS GEM for stereo visual odometry为ROS开发者提供这项强大的功能。

该GEM为实时立体摄像机视觉测距解决方案提供最佳精度。点击可查看基于广泛使用的KITTI数据库所得到的公开结果。除了高精度之外，这个GPU加速组件的运行速度也非常快。现在已可以在NVIDIA Jetson Xavier AGX上以高清分辨率(1280×720)实时(>60fps)运行SLAM。

重点GEM DNN推理 – 现已向ROS开发者开放所有NGC DNN推理模型

您可以使用NVIDIA在NGC上提供的众多推理模型中的任何一种，甚至可以使用DNN推理GEM(一套ROS2软件包)提供自己的DNN推理模型。开发者可以使用NVIDIA 对预训练模型进一步调整或者对自定义模型进行优化。

经过优化后，这些组件由NVIDIA推理服务器或部署。凭借使用（NVIDIA高性能推理SDK）的节点，可实现最佳推理性能。如果TensorRT不支持所需的DNN模型，则应使用Triton来部署该模型。

GEM包含对和的原生支持。基于TensorRT的U-Net组件可用于从图像中生成语义分割掩码。而DOPE组件可用于对所有检测到的物体进行三维姿态估计。

该工具是在ROS应用中加入高性能AI推理的最快方式。

图2. 来自3个Isaac ROS GEM的合成图像 - DNN（PeopleSemSegnet）/AprilTags/Disparity（Depth）。

NVIDIA Isaac SIM GA版本

Isaac Sim的GA版本将于2021年11月发布，这将是迄今为止对开发者最友好的版本。其用户界面、性能和实用构建模块经过了大量改进，使用户可以更快构建更强大的模拟。此外，经过改进的ROS桥和更多ROS样本将提高ROS开发者的开发体验。

该版本的更新内容（2021.2版本计划于2021年11月发布）

• 提升了性能，减少了内存用量和启动时间
• 经过改进的占位图生成，URDF导入器
• 新的环境：大型仓库、办公室、医院
• 用于与机器人、物体、环境对接的新Python构建模块
• 经过改进的ROS/ROS2桥、深度点云和激光雷达点云性能
• 样本更新

1. Multi-robot navigation with ROS2
2. 使用ROS2实现多机器人导航
3. SDG with Domain Randomization in Jupyter
4. Jupyter中带有域随机化的SDG

点击查看视频，了解如何使用ROS MoveIT实现对Franka的联合控制：

新的合成数据生成工作流程 - 来自Isaac Sim的生产级数据集

自主机器人需要使用大量不同的数据集，来训练众多运行其感知栈的AI模型。从真实世界场景中获取全部训练数据的成本过高，而且一些极端场景可能存在危险。Isaac Sim提供的新合成数据工作流程，通过建立生产级数据集解决了自主机器人的安全和质量问题。

建立数据集的开发者，可以控制物体在场景中的随机分布、场景本身、照明和合成传感器。开发者也可以通过精细的控制，确保数据集中包含重要的极端案例。最后，该工作流程支持版本控制和调试信息，因此可以在需要审核和保障安全时完整地复制数据集。

图3. Isaac Sim中传感器库的合成数据实例。

即刻启程

了解关于Isaac ROS的更多信息。

欢迎各位参观ROS World 21上NVIDIA的虚拟展台，观看我们关于Isaac的技术演示。

10月21日下午4点，与NVIDIA首席模拟工程师Hammad Mazhar一起

10月21日下午5:20，，NVIDIA Isaac高级产品经理Liila Torabi将和一些世界上最大的机器人仿真产品的开发人员将讨论仿真的过去、现在和未来。

关于 NVIDIA (NASDAQ: NVDA) 1999年发明的GPU驱动了PC游戏市场的增长，并重新定义了现代计算机图形、高性能计算和人工智能。NVIDIA在加速计算和AI领域的创举正在重塑交通、医疗健康和制造业等价值数万亿美元的产业，并推动了许多其他产业的增长。更多信息，请访问。

公告要点：

• 性能最强的实时立体测距解决方案以ROS包的形式提供

• NGC上的所有NVIDIA推理DNN均可以ROS组件的形式提供，并带有图像分割和姿态估计实例

• Isaac Sim中的新合成数据生成（SDG）工作流程，可为视觉AI训练创建大规模生产级数据集

• Omniverse上的NVIDIA Isaac Sim GA版本提供ROS开箱即用支持，是迄今为止对开发者最友好的版本

NVIDIA Isaac ROS GEM – 经过优化的性能

图1. NVIDIA Isaac ROS GEM软件框架图。

Isaac ROS GEM提供图像处理和计算机视觉等组件，其中有针对NVIDIA GPU和Jetson进行高度优化的DNN算法。

重点GEM：立体视觉测距 – 超高的精度和经过优化的性能

当自主机器在环境中移动时，它们必须持续追踪自己的位置。视觉测距通过估算摄像机与其起点的相对位置来解决这个问题。Isaac ROS GEM for stereo visual odometry为ROS开发者提供这项强大的功能。

该GEM为实时立体摄像机视觉测距解决方案提供最佳精度。点击可查看基于广泛使用的KITTI数据库所得到的公开结果。除了高精度之外，这个GPU加速组件的运行速度也非常快。现在已可以在NVIDIA Jetson Xavier AGX上以高清分辨率(1280×720)实时(>60fps)运行SLAM。

重点GEM DNN推理 – 现已向ROS开发者开放所有NGC DNN推理模型

您可以使用NVIDIA在NGC上提供的众多推理模型中的任何一种，甚至可以使用DNN推理GEM(一套ROS2软件包)提供自己的DNN推理模型。开发者可以使用NVIDIA 对预训练模型进一步调整或者对自定义模型进行优化。

经过优化后，这些组件由NVIDIA推理服务器或部署。凭借使用（NVIDIA高性能推理SDK）的节点，可实现最佳推理性能。如果TensorRT不支持所需的DNN模型，则应使用Triton来部署该模型。

GEM包含对和的原生支持。基于TensorRT的U-Net组件可用于从图像中生成语义分割掩码。而DOPE组件可用于对所有检测到的物体进行三维姿态估计。

该工具是在ROS应用中加入高性能AI推理的最快方式。

图2. 来自3个Isaac ROS GEM的合成图像 - DNN（PeopleSemSegnet）/AprilTags/Disparity（Depth）。

NVIDIA Isaac SIM GA版本

Isaac Sim的GA版本将于2021年11月发布，这将是迄今为止对开发者最友好的版本。其用户界面、性能和实用构建模块经过了大量改进，使用户可以更快构建更强大的模拟。此外，经过改进的ROS桥和更多ROS样本将提高ROS开发者的开发体验。

该版本的更新内容（2021.2版本计划于2021年11月发布）

• 提升了性能，减少了内存用量和启动时间
• 经过改进的占位图生成，URDF导入器
• 新的环境：大型仓库、办公室、医院
• 用于与机器人、物体、环境对接的新Python构建模块
• 经过改进的ROS/ROS2桥、深度点云和激光雷达点云性能
• 样本更新

1. Multi-robot navigation with ROS2
2. 使用ROS2实现多机器人导航
3. SDG with Domain Randomization in Jupyter
4. Jupyter中带有域随机化的SDG

点击查看视频，了解如何使用ROS MoveIT实现对Franka的联合控制：

新的合成数据生成工作流程 - 来自Isaac Sim的生产级数据集

自主机器人需要使用大量不同的数据集，来训练众多运行其感知栈的AI模型。从真实世界场景中获取全部训练数据的成本过高，而且一些极端场景可能存在危险。Isaac Sim提供的新合成数据工作流程，通过建立生产级数据集解决了自主机器人的安全和质量问题。

建立数据集的开发者，可以控制物体在场景中的随机分布、场景本身、照明和合成传感器。开发者也可以通过精细的控制，确保数据集中包含重要的极端案例。最后，该工作流程支持版本控制和调试信息，因此可以在需要审核和保障安全时完整地复制数据集。

图3. Isaac Sim中传感器库的合成数据实例。

即刻启程

了解关于Isaac ROS的更多信息。

欢迎各位参观ROS World 21上NVIDIA的虚拟展台，观看我们关于Isaac的技术演示。

10月21日下午4点，与NVIDIA首席模拟工程师Hammad Mazhar一起

10月21日下午5:20，，NVIDIA Isaac高级产品经理Liila Torabi将和一些世界上最大的机器人仿真产品的开发人员将讨论仿真的过去、现在和未来。

关于 NVIDIA (NASDAQ: NVDA) 1999年发明的GPU驱动了PC游戏市场的增长，并重新定义了现代计算机图形、高性能计算和人工智能。NVIDIA在加速计算和AI领域的创举正在重塑交通、医疗健康和制造业等价值数万亿美元的产业，并推动了许多其他产业的增长。更多信息，请访问。