针对这一技术趋势，近日在中国市场发布了面向视觉应用设备的全新®智能视觉参考设计。该参考设计首次将Arm现有子系统IP与第三方IP进行整合，旨在帮助中国客户加快视觉应用设备的开发，并广泛应用于家庭与办公室安全、智能零售结算系统、工业自动化等各种场景。Arm 物联网事业部业务拓展副总裁马健介绍，“由于中国视觉市场在世界上的领先地位以及创新活跃度，Arm 智能视觉参考设计将服务于中国市场。”

随着视觉应用设备需求持续增长，客户希望能够将自己的IP集成到解决方案中，以获得更大的灵活性，实现产品差异化并集成更广泛的功能。作为面向中国市场为主的参考设计，Arm智能视觉参考设计将Arm与市场领先的IP相结合，提升设备处理能力，增强机器学习能力，并加速开发进程。马健指出，“Arm计算的不同细分的表现都不同凡响，更在智能摄像头市场以 9 成以上的市占率独占鳌头。在视觉成为边缘设备普世能力的未来，中国更是引领视觉技术发展的中坚市场，创新活跃度高涨，竞争激烈。中国客户促使我们以新的方式更好的支持他们的差异化创新。Arm在中国市场发布 Arm 智能视觉参考设计，为视觉芯片及系统设计奠定坚实可靠的基础，并支持灵活配置，为客户降本增效，使视觉软硬件联合创新成为可能，加速系统开发进程。与此同时，我们开始组建Arm智能视觉合作伙伴计划，和芯片设计、软件、算法、系统集成等伙伴携手，进一步加速视觉系统的开发，该计划已经吸引了10余家伙伴的加入，我们欢迎更多生态伙伴加入 Arm 智能视觉生态。”

马健介绍，此次发布的Arm智能视觉参考设计的硬件部分包括 CPU、ISP、NPU 和 VPU 处理器选项以及将这些元件粘合在一起的子系统 IP，首次将Arm的IP与的 IP 合在一起，并由预先集成和预先验证。

Arm Corstone™-1000：该组件整合了Cortex-A和Cortex-M处理器，内置安全性，能够在受限的功耗范围内为不同应用提供高效和高性能。

Arm Corstone-300：这是一个低功耗子系统，可用于机器学习工作负载，实现"永远在线"的功能。

Arm Mali™-C55图像信号处理器(ISP)：该ISP在芯片面积极小的情况下提供可配置、高能效和高性能的图像质量。

与此同时，来自安谋科技的第三方IP提供了更多视频和机器学习能力的选择。

"玲珑"V5视频处理器：该处理器支持紧凑、多格式(如H.264、H.265)且高效的视频编解码处理。

"周易"NPU：该NPU在广泛的机器学习应用中提供高达4TOPS的性能，并支持TensorFlow、Caffe、ONNX、PyTorch等行业主流AI框架。

 在此次Arm和安谋科技的合作中，该智能视觉参考设计采用了安谋科技自研 VPU 和 NPU。“玲珑” VPU 作为编解码融合、灵活可配、可编程的多核视频处理器，不断在编码标准、编码质量、PPA（功耗、性能、面积）等各个方面进行提升，并保持与 Arm 架构以及多媒体生态的兼容，安谋科技目前已经完成了两代VPU产品的研发，增加了 AVS2 和 AV1 的格式，满足行业对标准的需求。除了增加格式之外，V5、V7 的 HEVC 编码质量提升了 15%，对比 V5、V7，全新一代视频处理器“玲珑”V6、V8 的 H.264 编码质量提升了 10%，现已经全面达到并高于行业客户对编码质量的要求。安谋科技智能物联及汽车业务线负责人赵永超介绍，“面对多样化的产品需求，“玲珑”VPU 不断增强图像的前后处理能力，增加了按任意比例缩放优化的后处理，增加了 OSD 的前处理和 YUV 到 RGB 的后处理等。“玲珑” VPU 软件可编程，因此，在硬件量产后仍然可以进行优化和迭代，并根据客户的需求进行升级。由于 AFBC (Arm Frame Buffer Compression, Arm系统层面上的无损压缩) 的支持，“玲珑” VPU 可以降低 35% 的带宽。综上，“玲珑”VPU 可以为合作伙伴提供灵活的组合和选择。“

此外，生态伙伴可以通过Arm虚拟硬件(Arm Virtual Hardware, AVH)获取Arm智能视觉参考设计的虚拟模型，帮助软件开发者在芯片完备之前就开始开发和优化代码。

智能视觉技术对智慧家居、智慧城市、零售和智能制造等领域的应用日益广泛。在智能家居领域，除了安全监控、智能门禁和个性化的家庭环境体验外，在中国人口老龄化的情况下，关系到千家万户的用例是通过摄像头监测老年人的日常生活，睡眠质量等，并及时报警或提醒看护人员。在智慧城市方面，中国在将视觉技术应用于城市安全监控和智能交通管理方面都处于世界领先地位，智能视觉技术还可以应用于智能化的垃圾处理和回收，达到绿色环保的目的。在零售方面，通过智能摄像头和视觉分析技术，可以进行人流统计和行为分析，有助于优化商店布局，推广策略和服务响应，提升顾客体验和销售效益。在智能制造领域，智能视觉在监测和质量控制、自动化导航和定位、工艺控制和辅助操作等方面都具有广泛的应用，可以提高生产线的效率、质量和安全性，为制造业带来了更高的竞争力和生产效益。

智能视觉参考设计的目标受众通常是边缘 AI 领域公司的初创公司、跨界创新公司或者是希望进行垂直整合的系统公司。由于种种原因，这些公司并不拥有涵盖所有芯片架构前端、后端设计师的庞大团队，他们在视觉领域的第一颗芯片通常要借力于芯片设计公司，通过这项生态计划，我们希望使芯片设计服务伙伴们能够访问并熟悉 Arm 的参考设计，并在参考设计的基础上快速流片，助力客户推出满足 SystemReady 和 PSA 安全标准的芯片。

马健提到，Arm 智能视觉参考设计包含了云原生的开源视觉软件堆栈，但是该软件栈距离面向不同视觉市场的量产软件还存在着差距，这就需要智能视觉软件开发经验的合作伙伴来帮助客户适配不同的应用场景，为不同的 OEM 定制软件，并进行整合、测试和调优，达到量产水平。