2023年无疑是生成式AI的元年，从ChatGPT的出现到‘千模大战’，Transformer架构受到了极大的关注。

于 2017 年问世的Transformer 架构彻底改变了生成式 AI，并成为许多新型神经网络的首选架构。基于 Transformer 架构的模型可利用注意力机制处理序列数据，并在机器翻译、自然语言理解、语音识别、分割和图像字幕生成等多项 AI 任务中实现优异的效果。

值得注意的是，这些模型可被调整和压缩，在不过多影响准确度的情况下，能高效运行于边缘设备上，并在许多边缘侧和端侧用例中发挥领先的优势。

也正因此，边缘AI在当年CNN和RNN火了一轮之后，又再一次燃了起来。

除了手机、PC，其他更多应用都可以借由生成式AI实现更智能、体验更好的AIoT。Arm 物联网事业部业务拓展副总裁马健指出，未来，AI 模型就像一个家庭“大脑”，可以综合家里各类传感器、摄像头，以及外部天气、家人喜好、自然语言命令等多种输入，更安全、更节能地营造个性化的家居环境。AI和大模型将进一步推动零售业的智能化、个性化和自动化发展。通过个性化购物体验、智能库存管理、动态定价策略、线上线下无缝整合，以及自动化运营等，带来更高的效率和更卓越的客户体验。AI 和大模型还有望推动工业 4.0 向工业 5.0 的转变，实现智能化生产线、精准的质量控制、个性化定制生产、供应链优化、自主维护与远程监控、人机协作、节能减排，以及新材料和工艺的开发等，为制造业带来一场深刻的变革。

Arm 物联网事业部行业市场营销高级总监 Parag Beerkaka 也表示，随着人工智能 (AI) 不断对我们的日常生活产生越来越大的影响，其推理任务也逐渐从云端迁移到边缘侧和端侧。边缘侧推理为板载设备引入智能化能力，使数据能够在本地进行处理，并实时做出决策，同时提高了数据隐私性和安全性。

Ethos-U85 NPU助力大模型落地边缘

马健表示，边缘 AI 潜力巨大，有望助力多个领域的持续智能化演进与转型。Arm 的客户与生态伙伴更是在智能家居、智能零售与智能制造等领域不断创新，进而实现感知、决策与行动的闭环，提高自动化水平。诸多基于 Arm 架构的边缘 AI 解决方案的成功部署，使我们更加坚信 AI 需要硬件和软件之间的紧密结合。Arm 在过去十年中进行了大量投资，并优化性能，从而实现 AI 算子延展与部署简化。

作为业界首款 AI 微加速器，Arm Ethos-U NPU系列已经被众多客户成功量产，包括恩智浦的 i.MX 系列、瑞萨电子的 RA8 系列、英飞凌的 PSoC Edge 和 Alif Semiconductor 的 Ensemble 、Synaptics、奇景光电等20多家授权合作伙伴。

相比上一代产品，Ethos-U85 的性能提升了四倍，同时能效提高 20%，同时，其 MAC 单元可从 128 个扩展到 2048 个（在 1GHz 时，算力实现 4 TOPs），能够为诸如工厂自动化和商用或智能家居摄像头等需要更高性能的应用提供有力的支持。Ethos-U85 提供了相同的一致工具链，因此合作伙伴能够利用现有的投资，达到无缝的开发者体验。更重要的是，全新 Ethos-U85 NPU 支持了 TensorFlow Lite 和 PyTorch 等 AI 框架。

Ethos-U85 支持 Transformer 架构和卷积神经网络 (CNN) 以实现 AI 推理。Transformer 架构将推动新的应用，特别是面向视觉和生成式 AI 用例中，对于理解视频、填充图像的缺失部分或分析来自多个摄像头的数据以进行图像分类和目标检测等任务非常有效。

另外，此前的Ethos只能搭配Cortex-M系列处理器，全新的Ethos-U85可以与Cortex-A系列处理器搭配，也就是说不止MCU，在MPU中也可以采用Arm的NPU。

几款Ethos NPU对比，最新的U85可支持Cortex-A 应用处理器

已有技术授权客户

据悉，Alif Semiconductor 和英飞凌是全新 Arm Ethos-U85 NPU 的早期采用者。

Alif Semiconductor 联合创始人兼总裁 Reza Kazerounian 表示：“新一代边缘 AI 应用的 ML 工作负载需要以节能的方式提供高性能表现。Alif 是业界首家推出基于 Arm Cortex-M55 和 Ethos-U55 的边缘 AI 解决方案的企业，我们非常高兴并期待 Arm 再次推出全新的 AI 技术，Ethos-U85 NPU，它将为我们新一代 Ensemble 系列微控制器和融合处理器带来所需的计算性能，助力实现未来边缘 AI 和视觉用例。”

英飞凌工业 MCU、物联网、无线和计算业务高级副总裁 Steve Tateosian 表示：“边缘 AI 用例日趋复杂，想要把握 AI 时代的机遇离不开安全、高性能的计算系统。我们期待在与 Arm 长期的合作伙伴关系基础上，通过 Arm Ethos-U85 及其对边缘 AI 部署所提供的 Transformer 架构支持，进而让这些复杂的系统成为可能。”

Corstone-320物联网参考设计平台

随着Ethos-U85的推出，Arm同时宣布推出Corstone-320物联网参考设计平台，该平台除了Ethos-U85之外，还集成了Cortex-M85 CPU、Mali-C55 ISP以及CoreLink DMA-350。

另外，Corstone-320还提供了软件、AI 模型库和开发工具，以实现软件的复用。它还附带了仿真 Corstone-320 完整系统的 Arm 虚拟硬件，以及单独的 CPU 和 NPU 的固定虚拟平台 (FVP) 模型，以简化开发并加速产品设计，支持软硬件并行协同开发。

马健特别强调，为了支持中国广大的物联网嵌入式开发者，Arm 虚拟硬件落地在了百度云上，正在实现与百度 BML 和 EasyDL 工具链的组合，使基于 Arm 技术的 AI 开发可以在百度飞桨 (PaddlePaddle）这一中国本土框架上变得更加容易，且实现软硬件协同开发，即在基于 Arm 最新 IP 量产芯片就绪之前，就可以预先做软件应用的开发以及 AI/ML 算法的开发和优化。

马健还补充道，Corstone-320 参考设计提供了有安全保证的软硬件组合，使得在此参考设计基础上开发的合作伙伴们能够顺利地通过 PSA Certified Level 2 认证，实现对区域和全球安全标准的合规。“通过 Corstone-320 预先集成、预先验证的参考设计模版，Arm 定能帮助合作伙伴减少边缘智能芯片开发的成本和时间。”

Arm 物联网事业部物联网参考设计平台产品总监 Diya Soubra表示，“Corstone-320不仅能加快语音、音频和视觉系统的部署，还能够降低系统级芯片 (SoC) 设计人员和软件开发者所面临的复杂性。”

另外，马健还表示，Arm正在和合作伙伴一起，构建一致架构、采用统一工具链的边缘AI生态系统。比如PyTorch 基金会正在投资边缘 AI，发布针对移动和边缘设备推理工具包 ExecuTorch，提供了轻量级运行时 (Runtime) 和算子注册表，覆盖了 PyTorch 生态系统中的各类模型。

边缘AI虽仍面临挑战 但未来机遇巨大

马健表示，边缘 AI 随着大模型和生成式 AI 崛起，以及用户体验的持续提升和企业对数据价值的认可，使行业正在经历巨大变革。随着大模型持续通过量化、剪枝和聚类技术来缩减优化模型，使大模型适于在边缘和超级终端设备部署，云边端结合将成为未来 AI 产品的重要发展趋势。“我们已经看到开发者在树莓派上评估运行包括 LLaMA 等在内的大模型。边缘部署大模型和生成式 AI 用例指日可待，而 Arm 已经为此做好准备，来挑战物联网与大模型、多模态 AI 结合的性能与效率极限。”

另外，马健也指出，边缘 AI 在带来了机遇的同时，也带来了挑战，其中最主要的是需要在计算能力和能效之间找到平衡，并且需要在数据安全和隐私保护下执行边缘AI。“边缘用例五花八门，传统物联网市场存在碎片化，为了更好地统一多样化的应用要求，达到规模化效益，软件定义和适于软件移植的标准更是必不可少。Arm 将在 IP、参考设计和软件标准上持续投入，从而帮助整个边缘 AI 生态应对这些挑战。”