Arm赋能边缘AI的三大“法宝”

发布时间:2024-11-06  

11月5日,在IIC Shenzhen - 2024国际集成电路展览会暨研讨会同期举办的2024全球CEO峰会上,Arm物联网事业部业务拓展副总裁马健(Chloe Ma)女士发表了“大模型时代边缘智能的新思考与新范式”主题演讲。

演讲现场上,Chloe亲身展示了她与特别“助手”——Ray-Ban Meta智能眼镜——的实时交互,用语音提问它“Hey Meta, tell me what I am looking at?”,不到一分钟后,智能眼镜会回答:“您正在看会场,会场里有很多听众。”

“智能眼镜可以更自然地见我所见,闻我所闻,有望重塑人机交互方式,使之更自然、智能和贴近用户需求。”Chloe分享道,“展望未来,大模型时代可能会颠覆现在所有的电子产品与芯片形态。”

AI大模型飞入寻常百姓家

实现从零到一亿用户,Netflix用了10年,Twitter用了5年,Instagram用了2.5年,TikTok缩短至9个月,而ChatGPT只用了2个月……在多模态大模型时代,生成式AI技术的应用和影响日益广泛且深远,对普通用户具有强大的吸引力。

Chloe指出,这种飞速发展的背后是强大的AI技术支撑,大模型表达流利,知识广博,推理逻辑思维也突飞猛进,OpenAI o1更是实现System-2思维。更关键的是,大模型简单易用的界面,为每个用户都提供了一个能快速体验的通用平台,使得每一个用户都能畅想未来无限的可能。

在计算技术的演进历程中,从最初的mainframe时代,到如今的AI计算,始终是集中式和分布式计算交替发展的历史。

Chloe认为:“现在,我们正处于AI计算普及的初期,AI基础设施的部署以集中式的云与数据中心为主,以支持大规模的AI训练和数据处理任务。而AI Cloud,或者Token Factory等概念的商务模式也更趋成熟。”

而就像之前提到的ChatGPT用户数的迅猛增速一样,大模型在边缘落地的速度更加惊人。

AI模型和计算芯片技术的突破,以及对实时响应、成本、用户体验和安全隐私的诉求,让AI算力快速分布到边缘设备。这一趋势最先呈现在智能手机、PC等主流计算平台,通过AI加持的CPU、GPGPU或者NPU,实现对小型语言模型的支持。

展望未来几年,Chloe更期待大模型在新型边缘计算领域的应用,比如说自动驾驶和具身智能(机器人),因为这些技术可以推动千行百业自动化转型,显著提升新质生产力。

AI算力无处不在

AI算力作为一种类似水和电一样不可或缺的基本资源,将无处不在。

Chloe指出,在过去几个关键计算时代,技术变革的影响还主要局限于IT(Information Technology)领域,对OT(Operations Technology)领域的影响还处于探索阶段。

“如今广为人知的物联网(IoT),实际上需要在IT和OT领域都实现与行业用例相结合的突破。” Chloe表示,“但是OT的突破远比IT的突破要难,正如业界许多专家所感慨的——搬动原子(ATOM)比搬动电子要困难的多。只有当我们能够实现AI和我们周围真真切切的物理世界的融合,我们才能释放出AI技术的最大潜能。”

  • 比如在制造领域,行业已经从之前的劳动密集型转向了设备密集型,AI大模型技术将有望助力机器人走向通用,让人类从3D(Dirty/Dangerous/Dull)工作中解放出来,迈向真正的“黑灯工厂”时代。
  • 又比如在智能家居领域,过去我们需要亲自检查煤气阀,关闭窗户或暖气,而现在可以通过智能手机远程控制。未来,智能家居系统将利用AI大模型融汇多模态输入,根据家人的习惯和喜好,实现近乎全自动的个性化服务。

Chloe总结称,要实现以上的愿景,需要推动从GenAI到物理智能的演进,即AI模型必须处理多模态数据,包括语音、文本、视频、声音、温度等等;同时,还需要实现端到端训练和推理,以确保更快速的实时响应。

Arm作为世界上最普及的计算平台,也正在承载从云到边各类新兴的AI应用与负载。目前,Arm计算平台正在成为最普及的AI 计算的基础,广泛部署在从云到端的每个数据触及点,包括服务器、存储控制器、智能网卡、边缘设备等,天上飞的无人机,地上跑的汽车……Arm可以让数据及AI处理灵活地部署在最合理的位置。

Chloe强调,高性能、低功耗、强安全,这是Arm计算技术从云到端普及的关键。

Arm赋能边缘AI的三个方向

面向新时代的边缘AI创新,Arm致力于在硬件、软件和生态系统三个方面同步推进。

(1)硬件打造基础优势

随着边与端侧AI推理需求的增长,Arm利用Arm Cortex-M和Cortex-A持续丰富边缘算力,并在最新的Armv9架构的A系列产品中引入SVE、SVE2、SME,以更有效、更便利地处理边缘AI负载。同时,Arm持续增强CPU的矢量以及矩阵处理能力,并推出Arm Ethos系列AI加速器产品,打造高性能产品。此外,面对万物互联和安全的需求,Arm推出Arm TrustZone等技术增强安全,保护敏感数据和操作。

​2024年Arm新推出的Ethos-U85以及Corstone-320旨在加速AI系统的快速落地,促进未来多模态智能应用的全方位部署。

全新的Arm Ethos-U85:Arm的Ethos-U NPU是世界上首个嵌入式AI加速器,从第一代的Ethos-U55,到最新的Ethos-85,不仅实现了性能与能效上的显著提升,还增加了新的算子和神经网络的原生支持。

据悉,相较于上一代Ethos-U65,Ethos-U85的最高性能提升了4倍,能效提高了20%,适用于高性能边缘AI应用。Ethos-U85不仅仅提供CNN卷积神经网络所需的权重矩阵乘的运算,还支持矩阵相乘,这是Transformer网络的一个基本组成部分。​

Transformer模型凭借其卓越的泛化能力,已迅速成为AI 词元工厂(token Factory)的核心支柱,推动边缘小模型快速演进,多模态趋势日益明显。Ethos-U85凭借超低功耗实现对Transformer的原生支持,实现云边端协同,为Ray-Ban Meta等智能眼镜应用及多模态人机交互等极具潜力的边缘AI应用注入强大动力。

Corstone-320:全新的Arm智能物联参考设计平台,包含了Cortex-M85——Arm Cortex-M系列中性能最高的嵌入式处理器,以及全新的Ethos-U85 NPU AI加速器。​

鉴于视觉在多模态感知中的关键地位,众多边缘MCU传感器系统越来越依赖于视觉和图像感知,Corstone-320包括了Mali-C55图像信号处理器(ISP),旨在打造为视觉应用设计的低功耗系统。​

此外,Corstone-320参考设计提供了经过安全验证的软硬件组合,助力在此参考设计基础上开发的合作伙伴们能够轻松地通过PSA二级认证,确保产品符合地区及全球的安全标准。​

(2)软件赋予产品灵魂

Arm已成功从专注于芯片处理器IP的公司转型为计算平台公司,其成功的关键之一就是拥有强大的Arm软件生态。

据Chloe介绍,Arm计算平台汇聚了超过2000万名开发者,构成了全球最大的开发者生态系统。开发者们之所以青睐Arm,一方面是因为基于Arm架构设备的普及率极高,几乎人手至少一台。另一方面,在Arm平台上开发的软件能够覆盖到数十亿、数百亿乃至数千亿的设备,几乎触及全球每一个人。这种庞大的软件数量进一步推动了硬件资源的需求和性能的提升,形成了一个良性循环。简而言之,Arm的宗旨是实现软件的“一次开发、广泛部署”。为此,Arm在构建一致的计算平台方面投入了大量的软件资源。

“这也是Arm KleidiAI的出发点:KleidiAI衔接主流AI框架和Arm计算平台,通过底层优化,使应用开发者无需额外工作,就可以充分释放Arm计算平台所能提供的AI加速功能和性能。”Chloe提到。

这意味着,当Llama或MediaPipe推出新版本时,开发者可以确信他们的App将与“模”俱进。无论是在云端还是边缘端,开发者都能在Arm平台上获得无缝的大小模型支持和显著的AI性能提升。

(3)生态系统是Arm成功的核心关键

促进边缘AI的繁荣需要整个生态齐心协力。当前,越来越多的软硬件伙伴正汇聚于Arm计算平台。

Arm携手合作伙伴,在机器学习(ML)开发流程的每一步中提供全面的支持与价值,强化了开发者在从概念构想到部署实施的全过程能力。在数据采集分析以及ML训练阶段,Arm则依赖开源社区以及合作伙伴的方案来产生训练好的模型。

Arm的ML软件和工具专注于协助模型评估、优化、转化与编译,以及针对硬件的优化,致力于在多种边缘计算与智能物联应用场景中,提供卓越的性能和效率,进一步巩固了Arm在 AI领域内的价值和地位。

鉴于边缘AI用例的多样性与复杂性,开发环境、模型及工具均呈现出显著的差异性。为此,Arm构建了一个广泛且活跃的生态系统,旨在简化边缘AI的开发流程,降低入门门槛。

Chloe分享道:“Arm最近与Meta合作,通过KleidiAI实现与PyTorch以及PyTorch推出的新一代设备端推理runtime、ExecuTorch的整合优化,使边缘大模型可以顺畅优化地跑在Arm CPU上。ExecuTorch也正在扩展到Ethos-U NPU边缘AI加速器以及大家熟知的Arm Cortex-M CPU上。”

小结

人工智能的普及,特别是大模型和生成式AI的迅猛发展,为边缘AI和智能物联网生态系统的伙伴们带来了前所未有的发展机遇。Chloe深信,凭借Arm深厚的经验和领先的技术广度,Arm能够最有力地支持其合作伙伴们拥抱边缘AI机遇。

​“这些持续投入使Arm成为全球最广泛的AI计算平台之一,吸引了越来越多的开发者加入,而Arm也将与生态伙伴们携手并进,共同探索并释放前所未有的AI规模潜力。​”Chloe展望道。

文章来源于:国际电子商情    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>