11月5日,在IIC Shenzhen - 2024国际集成电路展览会暨研讨会同期举办的2024全球CEO峰会上,Arm物联网事业部业务拓展副总裁马健(Chloe Ma)女士发表了“大模型时代边缘智能的新思考与新范式”主题演讲。
演讲现场上,Chloe亲身展示了她与特别“助手”——Ray-Ban Meta智能眼镜——的实时交互,用语音提问它“Hey Meta, tell me what I am looking at?”,不到一分钟后,智能眼镜会回答:“您正在看会场,会场里有很多听众。”
“智能眼镜可以更自然地见我所见,闻我所闻,有望重塑人机交互方式,使之更自然、智能和贴近用户需求。”Chloe分享道,“展望未来,大模型时代可能会颠覆现在所有的电子产品与芯片形态。”
AI大模型飞入寻常百姓家
实现从零到一亿用户,Netflix用了10年,Twitter用了5年,Instagram用了2.5年,TikTok缩短至9个月,而ChatGPT只用了2个月……在多模态大模型时代,生成式AI技术的应用和影响日益广泛且深远,对普通用户具有强大的吸引力。
Chloe指出,这种飞速发展的背后是强大的AI技术支撑,大模型表达流利,知识广博,推理逻辑思维也突飞猛进,OpenAI o1更是实现System-2思维。更关键的是,大模型简单易用的界面,为每个用户都提供了一个能快速体验的通用平台,使得每一个用户都能畅想未来无限的可能。
在计算技术的演进历程中,从最初的mainframe时代,到如今的AI计算,始终是集中式和分布式计算交替发展的历史。
Chloe认为:“现在,我们正处于AI计算普及的初期,AI基础设施的部署以集中式的云与数据中心为主,以支持大规模的AI训练和数据处理任务。而AI Cloud,或者Token Factory等概念的商务模式也更趋成熟。”
而就像之前提到的ChatGPT用户数的迅猛增速一样,大模型在边缘落地的速度更加惊人。
AI模型和计算芯片技术的突破,以及对实时响应、成本、用户体验和安全隐私的诉求,让AI算力快速分布到边缘设备。这一趋势最先呈现在智能手机、PC等主流计算平台,通过AI加持的CPU、GPGPU或者NPU,实现对小型语言模型的支持。
展望未来几年,Chloe更期待大模型在新型边缘计算领域的应用,比如说自动驾驶和具身智能(机器人),因为这些技术可以推动千行百业自动化转型,显著提升新质生产力。
AI算力无处不在
AI算力作为一种类似水和电一样不可或缺的基本资源,将无处不在。
Chloe指出,在过去几个关键计算时代,技术变革的影响还主要局限于IT(Information Technology)领域,对OT(Operations Technology)领域的影响还处于探索阶段。
“如今广为人知的物联网(IoT),实际上需要在IT和OT领域都实现与行业用例相结合的突破。” Chloe表示,“但是OT的突破远比IT的突破要难,正如业界许多专家所感慨的——搬动原子(ATOM)比搬动电子要困难的多。只有当我们能够实现AI和我们周围真真切切的物理世界的融合,我们才能释放出AI技术的最大潜能。”
- 比如在制造领域,行业已经从之前的劳动密集型转向了设备密集型,AI大模型技术将有望助力机器人走向通用,让人类从3D(Dirty/Dangerous/Dull)工作中解放出来,迈向真正的“黑灯工厂”时代。
- 又比如在智能家居领域,过去我们需要亲自检查煤气阀,关闭窗户或暖气,而现在可以通过智能手机远程控制。未来,智能家居系统将利用AI大模型融汇多模态输入,根据家人的习惯和喜好,实现近乎全自动的个性化服务。
Chloe总结称,要实现以上的愿景,需要推动从GenAI到物理智能的演进,即AI模型必须处理多模态数据,包括语音、文本、视频、声音、温度等等;同时,还需要实现端到端训练和推理,以确保更快速的实时响应。
Arm作为世界上最普及的计算平台,也正在承载从云到边各类新兴的AI应用与负载。目前,Arm计算平台正在成为最普及的AI 计算的基础,广泛部署在从云到端的每个数据触及点,包括服务器、存储控制器、智能网卡、边缘设备等,天上飞的无人机,地上跑的汽车……Arm可以让数据及AI处理灵活地部署在最合理的位置。
Chloe强调,高性能、低功耗、强安全,这是Arm计算技术从云到端普及的关键。
Arm赋能边缘AI的三个方向
面向新时代的边缘AI创新,Arm致力于在硬件、软件和生态系统三个方面同步推进。
(1)硬件打造基础优势
随着边与端侧AI推理需求的增长,Arm利用Arm Cortex-M和Cortex-A持续丰富边缘算力,并在最新的Armv9架构的A系列产品中引入SVE、SVE2、SME,以更有效、更便利地处理边缘AI负载。同时,Arm持续增强CPU的矢量以及矩阵处理能力,并推出Arm Ethos系列AI加速器产品,打造高性能产品。此外,面对万物互联和安全的需求,Arm推出Arm TrustZone等技术增强安全,保护敏感数据和操作。
2024年Arm新推出的Ethos-U85以及Corstone-320旨在加速AI系统的快速落地,促进未来多模态智能应用的全方位部署。
全新的Arm Ethos-U85:Arm的Ethos-U NPU是世界上首个嵌入式AI加速器,从第一代的Ethos-U55,到最新的Ethos-85,不仅实现了性能与能效上的显著提升,还增加了新的算子和神经网络的原生支持。
据悉,相较于上一代Ethos-U65,Ethos-U85的最高性能提升了4倍,能效提高了20%,适用于高性能边缘AI应用。Ethos-U85不仅仅提供CNN卷积神经网络所需的权重矩阵乘的运算,还支持矩阵相乘,这是Transformer网络的一个基本组成部分。
Transformer模型凭借其卓越的泛化能力,已迅速成为AI 词元工厂(token Factory)的核心支柱,推动边缘小模型快速演进,多模态趋势日益明显。Ethos-U85凭借超低功耗实现对Transformer的原生支持,实现云边端协同,为Ray-Ban Meta等智能眼镜应用及多模态人机交互等极具潜力的边缘AI应用注入强大动力。
Corstone-320:全新的Arm智能物联参考设计平台,包含了Cortex-M85——Arm Cortex-M系列中性能最高的嵌入式处理器,以及全新的Ethos-U85 NPU AI加速器。
鉴于视觉在多模态感知中的关键地位,众多边缘MCU和传感器系统越来越依赖于视觉和图像感知,Corstone-320包括了Mali-C55图像信号处理器(ISP),旨在打造为视觉应用设计的低功耗系统。
此外,Corstone-320参考设计提供了经过安全验证的软硬件组合,助力在此参考设计基础上开发的合作伙伴们能够轻松地通过PSA二级认证,确保产品符合地区及全球的安全标准。
(2)软件赋予产品灵魂
Arm已成功从专注于芯片处理器IP的公司转型为计算平台公司,其成功的关键之一就是拥有强大的Arm软件生态。
据Chloe介绍,Arm计算平台汇聚了超过2000万名开发者,构成了全球最大的开发者生态系统。开发者们之所以青睐Arm,一方面是因为基于Arm架构设备的普及率极高,几乎人手至少一台。另一方面,在Arm平台上开发的软件能够覆盖到数十亿、数百亿乃至数千亿的设备,几乎触及全球每一个人。这种庞大的软件数量进一步推动了硬件资源的需求和性能的提升,形成了一个良性循环。简而言之,Arm的宗旨是实现软件的“一次开发、广泛部署”。为此,Arm在构建一致的计算平台方面投入了大量的软件资源。
“这也是Arm KleidiAI的出发点:KleidiAI衔接主流AI框架和Arm计算平台,通过底层优化,使应用开发者无需额外工作,就可以充分释放Arm计算平台所能提供的AI加速功能和性能。”Chloe提到。
这意味着,当Llama或MediaPipe推出新版本时,开发者可以确信他们的App将与“模”俱进。无论是在云端还是边缘端,开发者都能在Arm平台上获得无缝的大小模型支持和显著的AI性能提升。
(3)生态系统是Arm成功的核心关键
促进边缘AI的繁荣需要整个生态齐心协力。当前,越来越多的软硬件伙伴正汇聚于Arm计算平台。
Arm携手合作伙伴,在机器学习(ML)开发流程的每一步中提供全面的支持与价值,强化了开发者在从概念构想到部署实施的全过程能力。在数据采集分析以及ML训练阶段,Arm则依赖开源社区以及合作伙伴的方案来产生训练好的模型。
Arm的ML软件和工具专注于协助模型评估、优化、转化与编译,以及针对硬件的优化,致力于在多种边缘计算与智能物联应用场景中,提供卓越的性能和效率,进一步巩固了Arm在 AI领域内的价值和地位。
鉴于边缘AI用例的多样性与复杂性,开发环境、模型及工具均呈现出显著的差异性。为此,Arm构建了一个广泛且活跃的生态系统,旨在简化边缘AI的开发流程,降低入门门槛。
Chloe分享道:“Arm最近与Meta合作,通过KleidiAI实现与PyTorch以及PyTorch推出的新一代设备端推理runtime、ExecuTorch的整合优化,使边缘大模型可以顺畅优化地跑在Arm CPU上。ExecuTorch也正在扩展到Ethos-U NPU边缘AI加速器以及大家熟知的Arm Cortex-M CPU上。”
小结
人工智能的普及,特别是大模型和生成式AI的迅猛发展,为边缘AI和智能物联网生态系统的伙伴们带来了前所未有的发展机遇。Chloe深信,凭借Arm深厚的经验和领先的技术广度,Arm能够最有力地支持其合作伙伴们拥抱边缘AI机遇。
“这些持续投入使Arm成为全球最广泛的AI计算平台之一,吸引了越来越多的开发者加入,而Arm也将与生态伙伴们携手并进,共同探索并释放前所未有的AI规模潜力。”Chloe展望道。