日前，Arm宣布携手安谋科技，推出为中国客户打造的Arm智能视觉参考设计，这也是首次结合Arm与安谋科技的IP共同打造的平台。

Arm 物联网事业部业务拓展副总裁马健表示，随着自动化、机器学习和物联网等技术的巨大突破，中国对视觉设备的需求以及视觉技术创新方面都在快速成长。为了使视觉相关创新企业降本增效，更快的将创意转化为量产产品，Arm需要加速助力这些合作伙伴。

时间回到2021年，彼时为了加速物联网软硬件的开发进程，Arm推出了“物联网全面解决方案”(Arm Total Solutions for IoT)，旨在通过一整套全栈式的解决方案，大大简化、加速物联网软硬件产品的开发进程，降低开发成本及提高客户的投资回报率，同时还可以简化芯片级安全设计。

其中包括了Arm Corstone，这是一个将CPU、特定应用IP、互联与系统IP以及其他关键技术整合到一个预先验证和集成的硬件子系统高层级打包方案。Arm Corstone通过提供预验证、预集成的IP套件，芯片厂商无需再开发与Arm处理部分相关的设计，从而可以更快速的完成芯片开发。其次是 Arm 虚拟硬件，这是一款变革性产品，为了赋能软件开发可早于芯片开发而设计。它使Arm生态系统能够轻松采用云端开发和持续集成/持续交付 (CI/CD)，而无需大型定制硬件集群。最后是推动行业标准化为目的，针对设备开机、安全与云集成提供一套设备与平台的标准和参考实作的Project Centauri项目。

通过一系列举措，显著降低了芯片开发的成本和风险，并大幅度缩短了研发周期。Corstone这种预先经过集成和验证的子系统，可以理解为半成品的预制菜，厂商不再需要从零开始，想吃鱼香肉丝不必非要分别采购各种调料和食材，直接买好配菜，通过添加不同调料（其他第三方IP或软件等），从而形成自己的差异化，也避免了重复造轮子。

同时，由于这种参考设计是半成品，Arm也会根据应用的需求集成第三方 IP，给予客户足够的灵活性和选择，以支持差异化创新。

Arm携手安谋科技

此次携手安谋科技，是Arm第一次将自己的IP与安谋科技的IP合在一起，并由安谋科技预先集成和预先验证。

在智能摄像头市场，Arm的IP占比达到9成以上，而中国占据了视觉市场的主要地位，也正因此才促成了Arm携手安谋科技共同服务中国市场的合作。

如图所示，该方案以Corstone为基础，并结合了安谋科技的“周易”NPU和“玲珑”VPU。既通过Arm实现了成熟可靠的保证，同时也可通过安谋科技的IP实现更好的编解码和ML加速。

具体而言，在CPU部分，该参考设计选择了Arm Corstone-1000和Corstone-300作为主要子系统，其中Corstone-1000包括了Cortex-A35或Cortex-A53，Cortex-A53 具有 64 位处理能力的低功耗处理器，适合在功耗受限环境中又需要有高效能表现的多款装置使用，也是Arm最广泛使用的IP。Cortex-A35则是Arm-v8架构中体积最小、最节能的32位与64位的应用处理器IP。Corstone-300则包含了Cortex-M55处理器，是Arm首款采用 Arm Helium 向量处理技术的处理器，拥有强大且节能的数字信号处理与机器学习功能。

Corstone取得了Arm SystemReady IR 认证，确保 Linux 等操作系统的开机即用，简化了软件开发。

ISP 则选了去年刚刚发布的Mali-C55，是 Arm 迄今为止面积最小、功耗最低、可配置性最高的 ISP。拥有全方位的软件工具支持，包括软件驱动实现自动曝光、自动白平衡、自动对焦的 3A 库以及全套调校和校准工具，并有 Arm 批准的 ISP 调优合作伙伴。

这些是奠定根基的标准化模块，在差异化方面，我们看看NPU和VPU。

安谋科技智能物联及汽车业务线负责人赵永超表示，安谋科技已经完成了两代VPU的研发，此次集成的“玲珑”V6、V8系列相比“玲珑”V5、V7，增加了AVS2和AV1格式的支持，HEVC 编码质量提升了 15%，H.264 编码质量提升了 10%。增加了按任意比例缩放优化的后处理，增加了 OSD 的前处理和 YUV 到 RGB 的后处理等。“玲珑”VPU 软件可编程，因此，在硬件量产后仍然可以进行优化和迭代。由于 AFBC (Arm Frame Buffer Compression, Arm系统层面上的无损压缩) 的支持，“玲珑” VPU 可以降低 35% 的带宽。

“周易”NPU同样也是安谋科技的成功产品，并获得了客户广泛的量产验证。可根据需求配置出 1-30 TOPS 的处理性能，在 4 TOPS 的典型配置下，在 16 纳米工艺上实现面积只有 3.3平方毫米。支持包括Tensorflow、Caffe、Pytorch等典型深度学习框架。目前已经针对 100 多种算子算法进行了优化适配，包括常见的 CNN 网络以及 Transformer 网络，并已完成对 ChatGPT 大模型的适配。

Arm与安谋科技的合作，证明了第三方 IP完全可以集成在标准化平台之上，也证明了Arm平台能力和安谋科技的定制化能力。“如果客户有图像处理和 ISP 方面的自研 IP，也可以通过安谋科技或第三方的芯片设计公司来迅速实现，并且在此参考设计基础上进行集成和验证，最终加速产品的量产。”马健说道。

启动Arm智能视觉合作伙伴计划

智能视觉参考设计的目标受众主要包括边缘AI初创公司、跨界创新公司以及垂直整合的系统公司。

马健表示，为了进一步加速这些企业导入智能视觉，Arm制定了智能视觉合作伙伴计划，和芯片设计、软件、算法、系统集成等伙伴携手，进一步加速视觉系统的开发，该计划已经吸引了 10 余家伙伴的加入。

比如，Arm智能视觉参考设计包含了云原生的开源视觉软件堆栈，但这距离商用量产的视觉市场还存在着一定的距离，需要客户或其他有经验的服务商可以在此基础上进行定制、整合、测试和调优等。同时，也需要系统集成商，帮助构建从芯片、固件软件开发、创建 FPGA 甚至开发板的综合能力，提供一站式服务。

Arm智能视觉合作伙伴计划部分参与厂商

“尽管 Arm 智能视觉合作伙伴计划刚刚启动，但我们已经看到了业界的巨大的兴趣，所以我对此计划的发展趋势和势头充满了信心。”马健说道。比如，百度飞桨已经实现了基于飞桨的视觉模型库和 Arm 虚拟硬件的整合适配。诚迈科技作为软件设计合作伙伴加盟，更在日前成为中国第一个 Arm 批准的 ISP 调优伙伴。另外厦门星宸科技在月初通过了 PSA 安全认证，展示了智能视觉界领军者对安全和隐私保护重视程度的提高。

包括安凯微电子、诚迈科技、爱芯元智、以及百度飞桨等生态伙伴，也就此计划纷纷发布证言，表达了对生态计划的支持。

未来已来

智能视觉技术正在广泛的领域发挥着重要作用，从自动驾驶和机器人到智慧家居、智慧城市、零售和智能制造等领域的应用日益广泛。作为人机交互的重要窗口，机器视觉将会在人工智能和大模型到来之际发挥更重要的作用。

面向未来，随着Arm推出更多的智能视觉参考设计，以及更繁荣的合作伙伴生态，相信智能视觉的门槛将会进一步降低，同时也将越来越深入到更多的垂直行业中。