在今年的德国纽伦堡SENSOR + TEST 2022大会上，与会者有幸见到了ISM330IS ——第一个内置处理单元(ISPU)的传感器。意法半导体于 2022 年初发布这一技术。简单地说，ISPU是一种支持C语言的可编程嵌入式数字信号处理器 (DSP)，能够运行机器学习和深度学习算法。因此，它是边缘的下一个发展方向，或者 ST 所说的“Onlife Era”时代。ISM330IS有一个单精度计算浮点单元，开运动传感器先河。

从一个想法到新一代传感器，ST克服了哪些挑战？

在这项研究启动期，ST发表了一篇研究在惯性传感器内集成机器学习核心的可行性论文。过去，传感器的作用就是收集数据，所有计算任务都必须在微控制器上完成，这种架构背后的原因比较简单，惯性传感器是小尺寸的低功耗设备。增加性能强大的处理器不仅会违反这些设计限制，还会带来巨大的系统集成和制造挑战。虽然在一个模块内整合了DSP 和加速度计与陀螺仪，但是ST 并未降低处理性能、内存容量和传感器的精准度。

首款配备机器学习核心的传感器有哪些非凡之处？

ST在2018 年发表的这篇论文具有开创性，因为它为首个包含八个并行决策树、运行机器学习算法的惯性传感器LSM6DSOX解决了市场推广的难题。本地运行应用同时功耗非常低，从不可能变成了可能。产品推出后，尤其是在将模块集成到 SensorTile.box 之后，新应用开始涌现。例如，用它开发的婴儿哭声检测器，当有婴儿被遗忘在车内时可以提示驾驶员。同样，伦敦大学学院两个项目基于此开发出了自动化站/坐监测和更便捷的数字听诊器，获得市场好评。

还有哪些传感器配备机器学习核心？

LSM6DSOX还标志着一个新开发者社区出现。ST在 GitHub网站提供了机器学习核心库，并提高Unico GUI 软件工具的可及性，帮助更多的希望利用 LSM6DSOX 的机器学习核心的程序员。此外，我们还发布了性能更强大的传感器。LSM6DSRX 有更好的性能，适用于虚拟现实耳机等要求更高的应用。ST还推出了 LSM6DSV16X，它具有增强的机器学习内核和更好的性能功率比，适用于功耗限制更严格的系统。因而，有机器学习核心的ST传感器在一定程度上加快了下一个自动化时代的到来，而 ISM330IS 在这一传奇中翻开了一个重要的新篇章。

从新处理核心到新应用

ISPU是用什么做的？

ISM330IS 的 ISPU提供 8 KB的数据RAM和32 KB的应用RAM，运行频率10 MHz，具有32 位 RISC哈佛架构、四级流水线、浮点单元和针对神经网络处理优化的16位长度指令集。此外，虽然处理器发出中断请求仅需四个时钟周期（Arm Cortex 内核通常需要15 个时钟周期），但也可以在一个时钟周期内处理 16 位乘法运算。它使用 SPI 或 I2C 与主控 MCU 通信，开发人员只需在主处理器启动时将 C 代码加载到 ISPU 的易失性存储器内即可。

FPU 让应用程序能够在边缘设备上更灵活地运行推理算法。一旦满足条件，程序就会向微控制器发出中断请求。同样，与上一代核心相比，该架构使 ISPU 提高性能的同时，功耗仍维持在微瓦级别。因此，与之前机器学习核心的决策树相比，新产品是一个重大的飞跃，是一个更高效的系统。 此外，尽管具有强大的算力，但 ISM330IS 仍然适合市场标准的 3 mm x 2.5 mm x 0.83 mm LGA 封装。因此，采用新传感器，设计人员无需大幅修改 PCB布局。

ISM330IS是如何做到脱颖而出的？

机器学习应用越来越普及，很多人一想到机器学习，就会想到高存储容量、云计算服务器或高度并行的GPU 架构，有许多程序对运算性能要求确实很高，这使得它们与边缘处理不相容。然而，有些企业也知道，并非所有深度学习系统都需要这个级别的算力。因此，在手机等移动产品或工业设备本机上运行推理算法的应用越来越受欢迎。图像识别、异常检测和预测性维护都要求在低功率条件下有可靠的 AI 性能。同样，家庭无线安保系统摄像头可以用识别人脸或宠物，ISPU核心可以为移动系统常亮显示屏提供智能。

针对性能与功耗这一挑战，ISM330IS 是一个新的解决方案，因为它的高性能模式功耗仅为0.59 mA，在同等条件下，ISM330DHCX高达1.5 mA。ISM330DHCX功耗较高的部分原因是模块集成了性能更强大的陀螺仪等功能。然而，这些数字也显示了新产品的优化之处和处理器核心的能效。事实上，低功耗微控制器很少有 FPU，因为它们通常需要大量的电能，然而，ISM330IS却将功耗成功地控制在电池供电系统适用的水平。