随着工业4.0的概念不断深入，人们越来越意识到自动化及智能化极大提升了工厂效率，在新的机遇下，嵌入式市场的创新层出不穷。自从NVIDIA2019年推出Jetson Nano嵌入式开发板之后，AI就开始进入到了更小的领域，日前在ROSCon 2023（机器人操作系统开发者年会）期间，NVIDIA公布了机器人领域的多项创新，这家人工智能绝对领先者正在持续将IT行业的创新注入在OT领域。

同时，在刚刚结束的富士康年度科技日上，富士康董事长刘扬伟宣布将使用NVIDIA芯片和软件建造新型数据中心，用于包括自动驾驶汽车、自主机器人和工业机器人在内的开发。会上NVIDIACEO黄仁勋表示，NVIDIA将与富士康共同建设 “人工智能工厂”。黄仁勋会上展示了一张手绘的草图，解释“人工智能工厂”如何持续接收和处理自动驾驶电动汽车的数据，使其变得更加智能。他表示，目前正在构建整一个完整的端到端AI系统。一方面，构建一个内部有人工智能大脑的先进电动汽车，使其能够自动驾驶，以及与驾驶员和乘客互动。另一方面，辅以构建为这款汽车开发软件的AI工厂。

另外，为加速边缘 AI 应用的开发和部署，NVIDIA 宣布创建了一个 Jetson 生成式 AI 实验室，以供开发者利用最新的开源生成式 AI 模型进行开发。

生成式AI进入机器人行业

生成式AI无疑是2023年度火热话题，除了超大规模的算力应用之外，生成式 AI 正在将 Transformer 模型和大语言模型的强大力量带到各行各业，应用范围现已扩展到边缘、机器人和物流系统相关领域，如缺陷检测、实时资产追踪、自主规划和导航以及人机交互等。

与其他嵌入式平台不同，Jetson 能够在本地运行大型语言模型 (LLM)、视觉转换器和Stable Diffusion。对于嵌入式端侧而言，其处理能力不高，因此往往需要与云连接处理各类高级AI模型，但由于带宽和延迟的限制，通过边缘处理AI更适合这些新技术的拓展。

Jetson AGX Orin在生成式AI中的表现

随着 AI 领域的快速发展，其应用场景日益变得复杂，开发者在构建边缘 AI 应用时也面临着开发周期延长的挑战。为了实时满足客户不断变化的环境、生产线和自动化需求，需要反复对机器人和 AI 系统进行编程，这不仅非常耗时，还要求开发者具备足够的专业技能。

生成式 AI 所具有的“零样本学习”能力（即模型能够识别训练中从未见过的特定事物）和自然语言界面能够简化边缘 AI 的开发、部署与管理。

NVIDIA Jetson 生成式 AI 实验室为 Jetson 开发者提供经过优化的工具和教程，用以部署开源大语言模型（LLM）、以交互方式生成惊艳图像的扩散模型、视觉语言模型（VLM）以及视觉 Transformer （ViT）。其中，ViT 结合了视觉 AI 和自然语言处理，可提供对场景的全面理解。

开发者还可以使用 NVIDIA TAO Toolkit，为边缘应用创建高效而精确的 AI 模型。TAO 提供了一个用于微调和优化 ViT、视觉基础模型等视觉 AI 模型的低代码接口。此外，还可以定制并微调 NVIDIA NV-DINOv2 等基础模型或 OpenCLIP 等公共模型，用很少的数据创建高度精确的视觉 AI 模型。现在，TAO 还推出了一个基于 Transformer 的新型缺陷检测模型 —— VisualChangeNet。

除了生成式AI，对于视觉AI而言，NVIDIA Metropolis 能够帮助企业更轻松、更经济高效地使用全球顶尖的视觉 AI 解决方案，以改善至关重要的运营效率和安全问题。该平台提供了一系列功能强大的应用编程接口和微服务，供开发人员快速开发基于视觉的复杂应用。预计今年年底，NVIDIA Jetson 平台上的 Metropolis API 和微服务扩展集将会推出。

Isaac Robotics 平台大更新

除了边缘AI，NVIDIA发布了 NVIDIA Isaac Robotics 平台的重大更新，针对 NVIDIA Isaac ROS 2.0 和 NVIDIA Isaac Sim 2023.1 以及感知和仿真升级进行了发布，用以简化 ROS 开发者对高性能 AI 机器人应用的构建与测试。

为推动开发新一代机器人解决方案，ROS 社区急需加速计算能力，而 Isaac ROS 能够满足这一需求。除了提供一系列加速 ROS 软件包，NVIDIA 也与 Open Robotics 密切合作，共同促进中间件的自身效率提升。

NVIDIA覆盖了完整的机器人开发平台

目前Isaac ROS 2.0 版本已经达到了生产就绪水平的品质，实现了包括原生 ROS 2 Humble 支持等诸多升级。

目前该技术已经广泛应用于各行业，FarmX 机器人技术副总裁 Dan Hennage 表示：“NVIDIA 提供丰富的产品及功能，能够完美适用于 FarmX。从 Isaac ROS 的运行环境和程序库，到可以在无人机、大型拖拉机等载具上部署的各种模块，NVIDIA Jetson 和 Isaac ROS 使我们专注于应用开发，完全不必担心平台问题。”

.lumen 首席执行官兼创始人 Cornel Amariei 表示：“我们研发了目前最先进的视障辅助技术，将自动驾驶技术的应用尺寸缩小，直到人们可以舒适地戴在头上。实现这一切完全得益于 NVIDIA Jetson 平台以及 Isaac ROS 中经过优化的软件包、节点和功能。不论是视觉实时定位建模（vSLAM）还是立体感知，我们都无法通过其他平台做到这样的程度。”

Isaac Sim 提供了强大的仿真功能。可用于开发、训练、测试和部署 AI 机器人。其具备强大的内置功能，包括用于生成合成数据的 NVIDIA Omniverse Replicator 和用于 GPU 加速强化学习的 Isaac Gym 等。通过最新发布的 Omniverse Replicator 1.10，开发者利用基于 YAML 的低代码配置器和异步渲染功能，就可以提高合成数据生成能力。

此外，Isaac Sim 的精准传感器仿真适用于当今的多数主流传感器。Isaac Sim 还支持 ROS 和 ROS 2，也可以通过 Python 脚本进行控制。

在开发机器人和自动化解决方案时，许多公司都采用“仿真先行”策略，这意味着在构建解决方案之前，需要通过高保真仿真来验证设计和吞吐量。

Isaac Sim 2023.1内置了更多的机器人模型和传感器，并且提供升级的 ROS 及 ROS 2 支持以及诸多功能。

写在最后

无论是生成式AI，还是加速机器人操作系统的导入，以及实现仿真，NVIDIA通过最新的一系列更新证明公司是AI与机器人结合时代的最佳供应商。而NVIDIA在机器人行业所做的一切，都是旨在简化 ROS 开发者对高性能 AI 机器人应用的构建与测试过程。