适用于边缘设备的 Edge Impulse 机器学习平台发布了一套在 NVIDIA TAO Toolkit 和 Omniverse 上开发的新工具,为基于 Arm Cortex-A 处理器、Arm Cortex-M 微控制器或 Arm Ethos-U NPU 的入门级硬件带来了新的 AI 模型。
通过结合 Edge Impulse 和 NVIDIA TAO 工具包,工程师可以创建可部署到边缘优化硬件(例如 NXP I.MX RT1170、Alif E3、STMicro STM32H747AI 和 Renesas CK-RA8D1)的计算机视觉模型。 Edge Impulse 平台允许用户使用经过 GPU 训练的 NVIDIA TAO 模型(例如 YOLO 和 RetinaNet)提供自己的自定义数据,并对其进行优化,以便在带或不带 AI 加速器的边缘设备上部署。
NVIDIA 和 Edge Impulse 声称,这一新解决方案可以将大规模 NVIDIA 模型部署到基于 Arm 的设备上,目前可以使用以下对象检测和图像分类任务:RetinaNet、YOLOv3、YOLOv4、SSD 和图像分类。 您可以在您自己的平台上进行尝试。,缺点是该解决方案需要 GPU 进行训练。
另外一项合作是 Edge Impulse 与 NVIDIA Omniverse 的集成,适用于使用合成数据和边缘测试环境的应用程序。 对于获取真实世界数据成本高昂、耗时、产生隐私问题或根本无法解释所有类型场景的情况,合成数据生成非常有用。 Edge Impulse 依靠 NVIDIA Omniverse Replicator 生成合成数据,然后将这些数据输入到边缘设备的 AI 模型中,用于检查制造生产线以检测缺陷、设备故障或手术对象检测以防止术后并发症等应用。
合成数据生成的好处包括:
通过虚拟工具降低物理原型设计和测试成本
加快开发时间和实验,从而加快上市时间
使用合成数据增强模型可靠性并创建难以复制的场景