聚焦三方面:Arm如何赋能边缘AI

发布时间:2024-09-03  

日前,在Elexcon 2024深圳电子展上,Arm 物联网事业部业务拓展副总裁马健介绍了Arm在AI时代的新机遇,以及如何赋能边缘AI的发展。通过硬件、软件以及生态系统三大方面,Arm正在从云到端地赋能AI产业的进步。

image.png


生成式AI正在从云到端


马健表示,ChatGPT大热代表了生成式AI iPhone时刻的到来,仅用5天时间便达到了100万用户,两个月内轻松突破1亿用户。这种前所未有的增长速度表明了大众对AI技术的需求和认可。


如今,随着AI技术的发展,大模型不只是在生成式语言方面广泛应用,同时也正在助力自动化转型。无论是云端部署还是在边缘设备上的应用,AI正在快速普及。从智能家居到自动驾驶,再到机器人技术,GPT大模型都在推动这些领域的创新。“AI算力正如水电一样,逐渐成为一种无处不在的基础资源,赋能各种新兴应用场景。”马健说道。


马健指出,“大模型在边缘落地的速度也是非常惊人的。AI模型和芯片技术的突破,以及对实时响应、成本、用户体验以及安全隐私的诉求,都让AI算力迅速向边缘端扩展。”


边缘AI的突破,使AI不仅在信息处理领域取得突破,更开始与物理世界深度融合。这种融合是释放AI最大潜力和价值的关键。


三方面赋能边缘AI


硬件、软件以及生态系统,是Arm赋能边缘AI的三要素。尽管一直以来,无论是在手机、嵌入式甚至云端等场景中,Arm一直通过这三方面帮助客户及行业创新,但在AI时代,这三要素又有着更深层次的含义。


在硬件方面,Arm的主力Cortex M和Cortex A系列构成了满足边缘丰富算力需求的处理器,同时还提供了诸多安全技术保护AI数据和操作的安全性。


最新Arm v9架构的Cortex A系列处理器,通过引入SVE和SME,显著加强了CPU在矢量及矩阵处理上的能力,可满足AI推理算力需求。比如去年发布的Arm Cortex A720 A520以及X4,支持SVE2 矢量拓展引擎。而在Cortex M系列上,M55、M85以及M52,引入了Helium矢量拓展,使信号处理能力提高5倍、机器学习能力提高15倍,“为AI在小型低功耗的设备上的普及奠定了坚实的基础。”


另外,Arm也推出了专用的嵌入式AI加速器Ethos NPU,目前已被包括英飞凌、恩智浦、奇景光电、新唐﹑Alif和Synaptics等厂商采用。最新的Ethos U85还提供了对Transformer等新一代神经网络技术的原生支持。相比上一代产品性能提高4倍,能效提高了20%。


值得注意的是,Ethos U85不仅可以与Cortex M系列嵌入式处理器搭配,还可以与Cortex A系列搭配,支持包括安卓、Linux甚至Windows等操作系统。


另外,为了加速边缘AI芯片的开发,Arm更是推出了Corstone参考设计,将MCU、CPU、NPU以及ISP等IP打包,并提供原型仿真平台、虚拟硬件和FPGA等,可以减少客户开发和验证成本。这些参考设计包括了边缘AI、低功耗、视觉等等不同领域的推荐组合。


“硬件是功能的载体,软件才是产品的灵魂,软件以及开发工具是Arm智能计算平台的关键组件。”马健说道、Arm提供了广泛的软件工具,包括虚拟硬件、IP Explore、ML-Zoo等,同时也和第三方合作,包括PyTorch、TensorFlowLite等主流AI框架,以及百度飞桨等国内产品。


而在生态系统方面,Arm与合作伙伴和生态系统携手,在机器学习从概念到部署的全流程中,提供支持和价值服务。


“Arm特有的 IP授权模式,以及开放的生态,可以使OEM和ODM有多种基于arm架构的芯片和计算平台的选择,从而更加灵活的开发适于最终应用的系统方案。”马健表示。


另外,马健还介绍了Arm的一项新的商业模式,Flexible Access,客户仅需支付极低的年费,就可以访问Arm的所有IP,参考设计、仿真平台以及工具链,仅需量产后支付授权费,这样给自由创新带来了极大好处。树莓派就采用了这一种方式。


“目前全球大概约有90%的AI都运行在Arm架构的CPU上,这些持续投入也会使Arm成为全球最普遍的计算平台之一,吸引更多开发者加入,不断壮大Arm的生态。”马健总结道。

文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    联盟,以支持AI走向普惠,IDC总结出的市场生态如下图所示:1. 深度学习开源框架: 目前国外主流的深度学习框架有PyTorch、TensorFlow、Caffe等。近年来,PyTorch在产......
    Cura。该项目是一个由设计工具和IP库组成的开源框架,旨在加速安全、可扩展、透明和高效的人工智能(AI)系统的发展。作为该项目基础设施的一部分,芯原提供了多个IP、低功耗芯片设计、板级支持包(BSP......
    芯原与谷歌携手合作开源项目Open Se Cura;2023年12月19日,中国上海——股份(,股票代码:688521.SH)今日宣布与合作支持新推出的。该项目是一个由设计工具和IP库组成的开源框架......
    让更多开发者体验昇思 MindSpore AI 开源框架的易用性和创新,第五届 MindCon 极客周年末强势回归,以昇思 “显眼孢” 争夺赛为主题,共有 5 个任务组成,您可以申请个人出战或者组队开黑,完成......
    就是如何帮助开发者提高开发效率,其中很重要的一部分就是Intel开发者云平台。 它不但可以让开发者最早接触到最新的至强、Gaudi AI加速器,还能保证各种开源框架、组件在同一环境中的兼容性,从而提升开发效率、优化......
    NVIDIA 推出 BioNeMo 开源框架,扩大全球生物制药和科学行业的数字生物学研究规模; SC24 – NVIDIA 今日宣布,全球制药和科技生物行业的领导者、学术先锋和 AI 研究人员正在使用开源......
    尔开发者云平台不仅能帮助开发者尽早接触到英特尔最新的软硬件,更重要的是能够保证各种开源框架、组件在一个环境中,保证这种框架之间的兼容性,给予开发者更好的用户体验。” 英特尔公司副总裁、英特......
    尔开发者云平台不仅能帮助开发者尽早接触到英特尔最新的软硬件,更重要的是能够保证各种开源框架、组件在一个环境中,保证这种框架之间的兼容性,给予开发者更好的用户体验。” 英特尔公司副总裁、英特......
    尔开发者云平台不仅能帮助开发者尽早接触到英特尔最新的软硬件,更重要的是能够保证各种开源框架、组件在一个环境中,保证这种框架之间的兼容性,给予开发者更好的用户体验。” 英特尔公司副总裁、英特尔中国软件和先进技术事业部总经理李映博士 深耕开源......
    Model Zoo模型部署实战”研讨会。百度AI技术生态总经理马艳军表示:“Imagination作为全球知名的处理器技术和IP供应商,双方基于飞桨深度学习开源框架和Imagination异构计算IP技术......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>