CPU上跑AI,可以很“香”

发布时间:2024-01-04 14:05  

作者:沈丛

随着AI大模型的参数规模不断扩大,其对算力的需求也在急剧提升。为了满足这一需求,各行各业都在积极研发和建设大规模的算力基础设施,导致多种专用AI加速芯片处于供不应求状态,不仅采购困难且成本高昂。因此,一些企业将目光转向目前最为普及的硬件产品——CPU(中央处理器)。近日,第五代英特尔至强可扩展处理器的出现,让业内再一次看到,利用CPU同样能提升AI的工作效率,在CPU上跑AI,也可以很“香”。

640-24.png

CPU在AI领域的新使命据了解,与训练相比,AI推理对算力资源的需求相对较小,对于一些推理任务较轻的业务或行业来说,相比专业的AI加速芯片,选择CPU更具成本效益。同时,由于CPU是目前最为普及的硬件,因此大多数企业都乐于利用部署更为广泛、基于CPU的IT基础设施和架构,避免异构平台的部署难题。在传统架构中引入AI加速,是CPU在这个时代的新使命。第五代英特尔至强可扩展处理器应运而生。该处理器的核心数量增加至64个,配备了320MB的L3缓存和128MB的L2缓存。不论单核性能还是核心数量,相比上一代处理器都有了明显提升。在相同功耗下,第五代至强可扩展处理器平均性能提升21%,内存带宽提升高达16%,三级缓存容量提升到了原来的近3倍。同时,第五代至强可扩展处理器的每个内核均具备AI加速功能,与上代相比,其训练性能提升29%,推理能力提升42%。

640-25.png

在AI负载处理能力方面,第五代至强可扩展处理器也有明显提升。从第四代至强可扩展处理器开始,就引入了英特尔高级矩阵扩展(英特尔AMX)作为内置AI加速引擎,这一创新使得CPU能够更高效地处理AI工作负载。五代至强中还同样内置了英特尔AVX-512指令集,配合运行速度更快的内核和速度更快的内存,进一步提升了AI性能,使得生成式AI无需独立的AI专用加速器即可执行更多工作负载。通过在自然语言处理推理方面的性能飞跃,它能更好地帮助企业支持智能助手、聊天机器人、预测性文本、语言翻译等工作负载的响应速度。采用该处理器之后,开发者能够推理和调优多达200亿参数量的大语言模型,且在运行参数量低于200亿模型的响应时延不超过100毫秒。为云服务厂商保驾护航生成式AI的爆发在给云计算产业带来全新机遇的同时,也带来了挑战。由于大模型需要庞大的算力支持,云厂商需要尽快升级数据中心算力以应对AI需求,并持续降低TCO(总拥有成本),为用户提供价格合理的算力资源。此外,AI应用开发还涉及大量隐私敏感数据的云端存储和使用,云厂商需要对已有硬件基础设施进行更新换代,以保障这些数据的安全可靠,打消用户的后顾之忧。第五代英特尔至强可扩展处理器从软硬两方面来为云服务厂商搭建良好的生态环境。在硬件方面,通过英特尔SGX/TDX解决方案为云端数据提供端到端的硬件级防护能力。在软件方面,英特尔已经在Pytorch、Tensorflow和OpenVINO工具套件的行业标准框架中提供了针对第五代至强可扩展处理器的优化,使得云厂商和用户能够以较低的门槛,快速利用如英特尔AMX等处理器功能,打通AI应用的算力瓶颈。

640-26.png

第五代英特尔至强可扩展处理器如同一个强大的后盾,为云服务厂商提供了坚实的算力支持。它不仅降低了运营成本,还为数据安全筑起了一道坚固的屏障。更重要的是,它优化了AI应用开发,让云服务厂商也能体会到在CPU上跑AI的“香甜”。企业开启“尝鲜”模式英特尔CEO帕特·基辛格在2023英特尔ON技术创新大会中曾表示:“在这个人工智能技术与产业数字化转型飞速发展的时代,英特尔保持高度的责任心,助力开发者,让AI技术无处不在,让AI更易触达、更可见、透明并且值得信任。”据了解,数据中心如今有70%的推理运行采用英特尔至强可扩展处理器。随着第五代至强可扩展处理器的诞生,一些企业开启了“尝鲜”模式,其产品也在AI性能方面有明显提升。11.11期间,京东云便通过基于第五代英特尔至强可扩展处理器的新一代服务器,成功应对了业务量激增,与上一代服务器相比,整机性能提升达123%,AI计算机视觉推理性能提升至138%,Llama 2推理性能提升至151%。轻松 hold 住用户访问峰值同比提高170%、智能客服咨询量超14亿次的大促压力。

640-27.png

基于第五代英特尔至强可扩展处理器,火山引擎第三代弹性计算实例整机算力提升了39%,应用性能最高提升了43%。在性能提升的基础上,火山引擎已通过其独有的潮汐资源并池能力,构建百万核弹性能资源池,能够以近似包月的成本提供按量使用体验,降低上云成本。使用第五代至强可扩展处理器的内置加速器时,可将每瓦性能平均提升10倍,能耗低至105W,同时还能运行针对工作负载优化的高能效SKU。

640-28.png

在搭载第五代英特尔至强可扩展处理器及其内置的英特尔AMX、英特尔TDX加速引擎后,阿里云打造了“生成式AI模型及数据保护”的创新实践,使第8代ECS实例在安全性和AI性能上都获得了显著提升,且保持实例价格不变,普惠客户。包括推理性能提高25%、QAT加解密性能提升20%、数据库性能提升25%,以及音视频性能提升15%。

640-29.png

如果将数据中心比喻为巨型计算机,那么CPU就是其“大脑”。第五代英特尔至强可扩展处理器作为“超级大脑”,对于数据中心的高效运行和AI应用的实现都起着至关重要的作用。AI落地的时代开始了,CPU的“春天”也要来了。

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    行业首个)。值得一提的是,此前这三块屏幕便已经获得德国莱茵T?V颁发的硬件级低蓝光产品认证。 ●莱茵TUV无频闪认证是什么有什么用?    莱茵无频闪认证(TUV Rheinland......
    问题的,四个A53日常就可以喂饱整个系统,游戏时开启A72这是很正常的一种做法。 但是MTK做了什么呢?做了十核,做了十核不要紧,他还做了什么?八个A53+两个A72,我没有想明白这里面有什么用......
    说一定你要过来上手实践,看实践能力,看你的工作能力。那些题有什么用?没有什么大用处。所以别太在意那些题,咱们要招的是能做点活的(员工)。” ▲相关报道截图 其实,仔细分析这份试卷就会发现,前面......
    骨传导蓝牙耳机好不好?骨传导蓝牙耳机有什么用?;什么是骨传导耳机? 骨传导耳机的原理,这要从我们是怎么听到声音的说起。在正常情况下,声波通过空气传导、骨传导两条路径传入内耳,然后由内耳的内、外淋......
    串激电机上的电容有什么用_串激电机转子好坏怎么测量;  串激电机上的电容有什么用   串激电机上的电容一般被用作抑制电刷产生的火花和电磁干扰,提高电机的运行可靠性和减少噪音。具体来说,串激......
    就来介绍GPU超频有什么用,GPU超频有什么好处和坏处。 一、GPU超频有什么用 GPU在电脑中一般称为图形处理器,对电脑图形的成像质量起到了至关重要的作用。但是在运行高质量的图像时,就会......
    进入临界有什么用?STM32单片机怎么实现?;有一次我在给内部学员直播的时候,有几个小伙伴问我,为什么要进入临界,临界有什么用? 当时一时半会没想到好的解释,今天举几个例子来解答下。 如果......
    4090,去1080P分辨率下玩游戏 2、你可否听说过A卡优化游戏? 3、还是卖不过NV,有什么用? 显然,部分N饭有些过于激动了,着急来维护N卡的名声。实际上,后续该媒体4K分辨率成绩显示,RTX......
    ”开始说起。如果要翻译成中文,一般会用“位深”作为它的译名。当然了,就算是翻译过来,我们还是很难从译名中得知它的概念。这样一来,还不如举个例子呢。 10bit有什么用?如果要用最直观的说法去描述,它能......
    PLC常用基本指令控制系统设计;PLC是一项技能,需要进行不断的练习和实践,作为一个新手小白,要怎么学呢?从哪方面入手? 其实在学习PLC之前,是先了解自己学习需求,比如PLC是个什么产品?你学会了有什么用......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>