适用于MCU的TinyissimoYOLO轻量化视觉检测算法

发布时间:2023-06-06  

虽然在更大、更强大的硬件上运行的人工智能 (AI) 算法经常成为人们关注的焦点,但不应低估边缘 AI 的重要性。 边缘人工智能是指将人工智能算法部署在本地设备上,如智能手机、相机、传感器和其他物联网设备,而不是仅仅依赖基于云端的解决方案。 这种去中心化的方法提供了许多好处,并解锁了更广泛的应用空间。


边缘 AI 的主要优势之一是减少延迟。 通过本地处理数据,边缘人工智能消除了往返云端的需要,从而加快了响应时间。 这种实时能力在即时决策场景中至关重要,例如自动驾驶汽车、工业自动化和关键基础设施监控。 此外,边缘人工智能增强了隐私和安全性,因为敏感数据保留在本地设备上,从而降低了数据泄露的风险并确保了用户的隐私。


尽管有众多优势,但在边缘设备上运行资源密集型算法(例如复杂的对象检测或深度学习模型)仍然是一项重大挑战。 与基于云的硬件相比,边缘计算设备的计算能力、内存和功耗通常有限。 在算法准确性和设备限制之间取得平衡对于确保高效运行至关重要。 模型压缩、量化和高效推理技术等优化是使这些算法在边缘设备上良好运行所必需的。


由于理解和识别图像或视频中的对象是视觉感知中的一项基本任务,因此对象检测算法在各个行业和应用中都具有特殊的重要性。目前,在资源受限的边缘设备领域的对象检测取得了长足进步,例如 Edge Impulse 的 FOMO 算法,其运行速度比 MobileNet SSD 快 30 倍,并且只需要不到 200 KB 的内存。 


对于如此重要和多样化的应用领域,还有很大的发展空间。


最新进入该领域的是来自苏黎世联邦理工学院的一项研究。 他们开发了一种高度灵活、内存高效且超轻量级的对象检测网络,他们称之为 TinyissimoYOLO。 应用于此模型的优化使其非常适合在低功耗微控制器上运行。


TinyissimoYOLO 是一种基于流行 YOLO 算法架构的卷积神经网络 (CNN)。 它由具有 3 x 3 内核的量化卷积层和一个完全连接的输出层构成。 卷积层和完全连接的线性层都在现代设备的硬件和软件工具链中进行了大量优化,这使 TinyissimoYOLO 在速度和效率方面得到了提升。 它是一个通用的目标检测网络,可以应用于广泛的任务,并且需要不超过 512 KB 空间存储模型参数。


该模型几乎可以部署在任何满足其非常适度要求的硬件上,包括带有 Arm Cortex-M 处理器或 AI 硬件加速器的平台。 使用 TinyissimoYOLO 测试了多种设备,包括 ADI MAX78000、Greenwaves GAP9、Sony Spresense 和 Syntiant TinyML。


在评估他们的方法时,该团队发现他们可以以惊人的每秒 180 帧的速度在 MAX78000 板上运行物体检测。 这种出色的性能伴随着每次推理仅 196 µJ 的超低能耗。 同时令人惊讶的是,这个微型模型的表现也与更大的物体检测算法相当。


然而,为了实现这一功能需要削减目标的尺寸,例如,图像输入大小限制为 88 x 88 像素。 这对于许多用途来说可能分辨率不够。 此外,随着对象数量的增加,多类对象检测问题变得更加困难,因此每张图像最多支持三个检测对象。


尽管有这些限制,TinyissimoYOLO 的多功能性、准确性和最低的硬件要求使其成为那些希望在边缘进行物体检测的选择之一。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>