第一时间适配!英特尔锐炫GPU在运行Llama 3时展现卓越性能

发布时间:2024-04-24  

在Meta发布Llama 3大语言模型的第一时间,英特尔即优化并验证了80亿和700亿参数的Llama 3模型能够在英特尔AI产品组合上运行。在客户端领域,英特尔锐炫™显卡的强大性能让开发者能够轻松在本地运行Llama 3模型,为生成式AI工作负载提供加速。

本文引用地址:

image.png

在Llama 3模型的初步测试中,英特尔®酷睿™Ultra H系列处理器展现出了高于普通人阅读速度的输出生成性能,而这一结果主要得益于其内置的英特尔锐炫GPU,该GPU具有8个Xe核心,以及DP4a AI加速器和高达120 GB/s的系统内存带宽。

英特尔酷睿Ultra处理器和英特尔锐炫显卡在Llama 3模型发布的第一时间便提供了良好适配,这彰显了英特尔和Meta携手为本地AI开发和数百万设备的部署所做出的努力。英特尔客户端硬件性能的大幅提升得益于用于本地研发的PyTorch和英特尔® PyTorch扩展包等丰富的软件框架与工具,以及用于模型部署和推理的OpenVINO™工具包。

图片1.gif

在内置英特尔锐炫显卡的英特尔酷睿 Ultra 7上运行Meta-Lama3-8B-Instruct

1713923249746319.png

在英特尔锐炫A770上运行Llama 3的下一个Token延迟

上图展示了在搭配PyTorch框架和针对英特尔GPU的优化后,英特尔锐炫A770显卡在运行Llama 3模型时表现出卓越的性能。除此之外,英特尔锐炫显卡亦支持开发者在本地运行包括Mistral-7B-Instruct LLM、Phi2、Llama2等在内的大语言模型。

基于相同的基础安装,开发者可以在本地运行多种模型的主要原因,可以归功于IPEX-LLM,即一个针对PyTorch的大语言模型库。它主要基于英特尔® PyTorch扩展包打造,涵盖时下最新的大语言模型优化和低比特数据压缩(INT4/FP4/INT8/FP8),以及针对英特尔硬件的大多数最新性能优化。得益于如锐炫A系列显卡等英特尔独立显卡上的Xe核心XMX AI加速功能,IPEX-LLM能够显著提高性能,其支持在Windows子系统Linux版本2、原生Windows环境和原生Linux上的英特尔锐炫A系列显卡。

由于所有的操作和模型均基于原生PyTorch框架,开发者可以非常方便地更换或使用不同的PyTorch模型以及输入数据。而上述模型和数据不仅能够在英特尔锐炫显卡上运行,开发者亦能享受到英特尔锐炫显卡加速带来的性能提升。

产品和性能信息

英特尔®酷睿™Ultra处理器:

在英特尔酷睿Ultra 7 155H平台(MSI Prestige 16 AI Evo B1MG-005US)上进行测试,使用32GB LP5x 6400Mhz总内存,英特尔显卡驱动101.5382 WHQL,Windows 11 Pro版本22631.3447,平衡操作系统电源计划,最佳性能操作系统电源模式,极限性能MSI Center模式,已启用核心隔离,基于英特尔2024年4月17日的测试。

英特尔锐炫™A系列显卡:

在英特尔锐炫A770 16GB显卡上进行测试,使用英特尔酷睿 i9-14900K、华硕ROG MAXIMUS Z790 HERO主板、32GB(2x 16GB)DDR5 5600Mhz,Corsair MP600 Pro XT 4TB NVMe。软件配置包括英特尔显卡驱动101.5382 WHQL、Windows 11 Pro版本22631.3447、性能电源策略和核心隔离禁用。基于英特尔2024年4月17日的测试。

注释:

性能因使用情况、配置和其他因素而异。可在性能指数网站上了解更多信息。

性能结果基于所示日期的配置测试,可能不反映所有公开可用的更新。请参阅附件以了解配置详情。没有任何产品或组件可以绝对安全。

基于预生产系统和组件的结果,以及使用英特尔参考平台(内部新系统的内部示例)、英特尔内部分析或架构模拟或建模估算或模拟的结果,仅供参考。结果可能会因将来对任何系统、组件、规格或配置的更改而变化。

成本和结果可能会有所不同。

英特尔技术可能需要启用硬件、软件或服务进行激活。

文章来源于:电子产品世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>