高能低耗易部署,爱芯元智AX650N成Transformer最佳落地平台

发布时间:2023-05-30  

近来,ChatGPT成为社会各界关注的焦点。从技术领域看,ChatGPT的爆发是深度学习领域演进、发展和突破的结果,其背后代表着Transformer结构下的大模型技术的飞速进展。因此,如何在端侧、边缘侧高效部署Transformer也成为用户选择平台的核心考量。


2023年3月,爱芯元智推出了第三代高算力、高能效比的SoC芯片——AX650N,依托其在高性能、高精度、易部署、低功耗等方面的优异表现,AX650N受到越来越多有大模型部署需求用户的青睐,并且先人一步成为Transformer端侧、边缘侧落地平台。


 image.png


Transformer是当前各种大模型所采用的主要结构,而ChatGPT的火爆让人们逐渐意识到人工智能有着更高的上限,并可以在计算机视觉领域发挥出巨大潜能。相比于在云端用GPU部署Transformer大模型,在边缘侧、端侧部署Transformer最大的挑战则来自功耗,这也使得爱芯元智兼具高性能和低功耗特质的混合精度NPU,成为端侧和边缘侧部署Transformer的首选平台,而其优越性能则决定了Transformer的运行效果。


作为人工智能视觉感知芯片研发及基础算力平台公司,爱芯元智始终致力于让更多的实际应用落地。目前大众普遍采用的Transformer网络SwinT,在爱芯元智AX650N平台表现出色:361 FPS的高性能、80.45%的高精度、199 FPS/W的低功耗以及原版模型且PTQ量化的极易部署能力,都让AX650N在Transformer的落地中有着领先的优势地位。


 image.png


具体来看,361帧的高性能,可媲美汽车自动驾驶领域基于GPU的高端域控SoC;而80.45%的高精度成绩同样高于市面平均水平;199 FPS/W的速度则充分体现出低功耗的特点,对比于目前基于GPU的高端域控SoC,有着数倍的优势;更为重要的,AX650N部署方便,GitHub上的原版模型可以在爱芯元智的平台上高效运行,不需要对模型做修改,亦无需QAT重新训练。与此同时,AX650N支持低比特混合精度,用户如果采用INT4,可以极大地减少内存和带宽占用率,达到有效控制端侧、边缘侧部署成本的目的。这些特性都保证了AX650N作为人工智能算力平台,最终落地效果更好用、更易用,且大幅提升了用户效率。


目前,AX650N已适配包括ViT/DeiT、Swin/SwinV2、DETR在内的Transformer模型,在DINOv2也已达到30帧以上的运行结果,这也更便于用户在下游进行检测、分类、分割等操作。基于AX650N的产品目前已在智慧城市、智慧教育、智能制造等计算机视觉核心领域发挥出重要作用。


 image.png


接下来,爱芯元智AX650N将会针对Transformer结构进行持续优化,并且探索更多的Transformer大模型,例如多模态大模型,不断让Transformer在爱芯元智平台上得到更好的落地效果。值得一提的是,爱芯元智还将推出相应开发板,满足开发者对Transformer深度研究的需求,探寻更丰富的产品应用。


“爱芯元智将继续努力打造基于芯片+软件的端侧、边缘侧人工智能算力平台,让智能落实到生活的真实场景,最终实现普惠AI造就美好生活的企业愿景”,爱芯元智创始人、CEO仇肖莘女士表示。未来,爱芯元智将在成为人工智能算力平台型公司的道路上继续探索,加速基于Transformer的大模型在端侧、边缘侧落地的节奏,让普惠智能真正落地生根,开花结果。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    又一款中端神U,逐条解析展锐虎贲T618的配置;5月份新出的手机CPU天梯图性能排行榜上,可以看到在中间段,紫光展锐的虎贲T618紧随高通骁龙710之后,高于联发科P70和骁龙660。 图一:手机......
    新酷睿有哪些提升?主频拔高、核显优化、还有各种功耗、网络、技术优化…… 此前,在淘宝上买到高度疑似真片的PConline给出的天梯图显示,i5-7600K CPU性能看齐i7-5775C,GPU性能......
    获取更高的性能;i7 5960x后面的字母x代表着这是一款极致性能版,性能超强;i7 4770T表示这是一款超低功耗版。还有移动版、低压版等笔记本CPU性能稍弱。E3、E5则是服务器CPU,新一......
    一代都是91W,所以功耗的表现上基本相同,不过如果你细心留意同样在满载的情况下,Core i5-7600K的默认电压会比Core i5-6600K高一点点。 评测总结: CPU天梯图 性能上:没错......
    全面揭秘了赛昉科技新一代多媒体处理器——JH7110。作为一款高性能、低功耗、多功能的基于RISC-V的应用处理器芯片,JH7110采用成熟的台积电28nm工艺,搭载64位高性能四核RISC-V CPU,工作......
    以软件程序来取代硬件配线。传统电工图当中,主电路是PLC无法取代的;plc可以取代的部分,是控制电路。由传统电工图转换为阶梯图的第一个步骤,就是i/o编码,亦即将传统电工图中的输入/输出组件,先行......
    坊间的书籍很少提及这一部分。以下姑且抱着野人献曝的心情,以『三相感应电动机故障警报控制』电路为例,由传统电工图转换为阶梯图的过程,浅谈程序设计,相信尔后对于相关的回路转换或程序设计,您或......
    感应电动机故障警报控制』电路为例,由传统电工图转换为阶梯图的过程,浅谈程序设计,相信大家以后就会对相关回路转换或程序设计有深刻的印象。 01 传统电工图 已知的三相感应电动机故障警报控制电路,其传统电工图,如图1所示......
    解决方案已经通过Alexa语音服务(AVS)认证。该解决方案结合了CEVA的ClearVox™远场降噪和语音处理软件与WhisPro™基于语音用户接口神经网络的关键词识别(KWS)软件,是功能强大的超低功耗软件包,可与......
    解决方案已经通过Alexa语音服务(AVS)认证。该解决方案结合了CEVA的ClearVox™远场降噪和语音处理软件与WhisPro™基于语音用户接口神经网络的关键词识别(KWS)软件,是功能强大的超低功耗软......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>