日前,在Elexcon 2024深圳电子展上,Arm 物联网事业部业务拓展副总裁马健介绍了Arm在AI时代的新机遇,以及如何赋能边缘AI的发展。通过硬件、软件以及生态系统三大方面,Arm正在从云到端地赋能AI产业的进步。
生成式AI正在从云到端
马健表示,ChatGPT大热代表了生成式AI iPhone时刻的到来,仅用5天时间便达到了100万用户,两个月内轻松突破1亿用户。这种前所未有的增长速度表明了大众对AI技术的需求和认可。
如今,随着AI技术的发展,大模型不只是在生成式语言方面广泛应用,同时也正在助力自动化转型。无论是云端部署还是在边缘设备上的应用,AI正在快速普及。从智能家居到自动驾驶,再到机器人技术,GPT大模型都在推动这些领域的创新。“AI算力正如水电一样,逐渐成为一种无处不在的基础资源,赋能各种新兴应用场景。”马健说道。
马健指出,“大模型在边缘落地的速度也是非常惊人的。AI模型和芯片技术的突破,以及对实时响应、成本、用户体验以及安全隐私的诉求,都让AI算力迅速向边缘端扩展。”
边缘AI的突破,使AI不仅在信息处理领域取得突破,更开始与物理世界深度融合。这种融合是释放AI最大潜力和价值的关键。
三方面赋能边缘AI
硬件、软件以及生态系统,是Arm赋能边缘AI的三要素。尽管一直以来,无论是在手机、嵌入式甚至云端等场景中,Arm一直通过这三方面帮助客户及行业创新,但在AI时代,这三要素又有着更深层次的含义。
在硬件方面,Arm的主力Cortex M和Cortex A系列构成了满足边缘丰富算力需求的处理器,同时还提供了诸多安全技术保护AI数据和操作的安全性。
最新Arm v9架构的Cortex A系列处理器,通过引入SVE和SME,显著加强了CPU在矢量及矩阵处理上的能力,可满足AI推理算力需求。比如去年发布的Arm Cortex A720 A520以及X4,支持SVE2 矢量拓展引擎。而在Cortex M系列上,M55、M85以及M52,引入了Helium矢量拓展,使信号处理能力提高5倍、机器学习能力提高15倍,“为AI在小型低功耗的设备上的普及奠定了坚实的基础。”
另外,Arm也推出了专用的嵌入式AI加速器Ethos NPU,目前已被包括英飞凌、恩智浦、奇景光电、新唐﹑Alif和Synaptics等厂商采用。最新的Ethos U85还提供了对Transformer等新一代神经网络技术的原生支持。相比上一代产品性能提高4倍,能效提高了20%。
值得注意的是,Ethos U85不仅可以与Cortex M系列嵌入式处理器搭配,还可以与Cortex A系列搭配,支持包括安卓、Linux甚至Windows等操作系统。
另外,为了加速边缘AI芯片的开发,Arm更是推出了Corstone参考设计,将MCU、CPU、NPU以及ISP等IP打包,并提供原型仿真平台、虚拟硬件和FPGA等,可以减少客户开发和验证成本。这些参考设计包括了边缘AI、低功耗、视觉等等不同领域的推荐组合。
“硬件是功能的载体,软件才是产品的灵魂,软件以及开发工具是Arm智能计算平台的关键组件。”马健说道、Arm提供了广泛的软件工具,包括虚拟硬件、IP Explore、ML-Zoo等,同时也和第三方合作,包括PyTorch、TensorFlowLite等主流AI框架,以及百度飞桨等国内产品。
而在生态系统方面,Arm与合作伙伴和生态系统携手,在机器学习从概念到部署的全流程中,提供支持和价值服务。
“Arm特有的 IP授权模式,以及开放的生态,可以使OEM和ODM有多种基于arm架构的芯片和计算平台的选择,从而更加灵活的开发适于最终应用的系统方案。”马健表示。
另外,马健还介绍了Arm的一项新的商业模式,Flexible Access,客户仅需支付极低的年费,就可以访问Arm的所有IP,参考设计、仿真平台以及工具链,仅需量产后支付授权费,这样给自由创新带来了极大好处。树莓派就采用了这一种方式。
“目前全球大概约有90%的AI都运行在Arm架构的CPU上,这些持续投入也会使Arm成为全球最普遍的计算平台之一,吸引更多开发者加入,不断壮大Arm的生态。”马健总结道。