英特尔至强和AI PC等产品为Meta Llama 3生成式AI工作负载提供加速

发布时间:2024-04-22  

Meta今日推出其下一代大语言模型(LLM)——Meta Llama 3。在发布的第一时间,英特尔即优化并验证了80亿和700亿参数的Llama 3模型能够在英特尔®至强®处理器、英特尔® Gaudi加速器、英特尔® 酷睿™ Ultra处理器和英特尔锐炫™ 显卡的AI产品组合上运行。

本文引用地址:

英特尔副总裁兼人工智能软件工程总经理李炜表示:“英特尔一直积极与AI软件生态系统的领先企业展开合作,致力于提供兼具性能与易用性的解决方案。Meta Llama 3是AI大语言模型重要迭代的新一浪潮。作为AI软硬件产品技术创新的引领者,英特尔很开心能够与Meta合作,充分挖掘诸如Llama 3等模型的潜力,助力生态伙伴开发领先的AI应用。”

重要意义:秉承推动AI无处不在的愿景,英特尔持续深耕软件和AI生态,以确保其产品能够满足AI领域持续变化的创新需求。在数据中心,集成英特尔®高级矩阵扩展加速引擎(Intel® AMX)的英特尔至强处理器和英特尔Gaudi能够为满足客户不断变化、多元化的需求提供更多选择。

英特尔酷睿Ultra处理器和英特尔锐炫显卡不仅为开发者提供了本地开发工具,也为在数百万台设备上进行部署提供全面的软件框架和工具支持。其中,包括PyTorch和用于本地研发的英特尔® PyTorch扩展包,以及用于模型开发和推理的OpenVINO™工具包等。

在英特尔产品上运行Llama 3:英特尔初步测试和评估80亿和700亿参数的Llama 3模型在自身产品上的性能时,使用了包括PyTorch、DeepSpeed、英特尔Optimum Habana库和英特尔PyTorch扩展包在内的开源软件,并提供最新的软件优化。

●   英特尔至强处理器能够运行严苛的端到端AI工作负载,同时为了降低延迟,英特尔也通过技术创新来优化大语言模型的推理性能。配备性能核的英特尔® 至强® 6处理器(代号Granite Rapids)在运行80亿参数的Llama 3模型推理时,延迟比第四代英特尔® 至强® 处理器表现出两倍的提升,并且能够以低于100毫秒的token延迟运行700亿参数的Llama 3模型推理。

●   英特尔® Gaudi 2加速器在70亿、130亿和700亿参数的Llama 2模型上具备优化的性能,现在其基于全新的Llama 3模型也有了初步性能测试。随着英特尔Gaudi软件的更新,英特尔能够轻松运行新的Llama 3模型,并为推理和微调生成结果。近期发布的英特尔® Gaudi 3加速器也支持运行Llama 3。

●   英特尔酷睿Ultra和英特尔锐炫显卡在运行Llama 3时亦展现出卓越的性能。在初步测试中,英特尔酷睿Ultra处理器已经展现出远高于人类通常阅读速度的输出生成性能。此外,英特尔锐炫™ A770 显卡具备Xe内核中的全新矩阵引擎(Xe Matrix eXtensions,XMX)AI加速和16GB显存,进一步为大语言模型工作负载提供卓越性能。

未来,Meta将增加新的能力、更多模型尺寸以及增强的性能。英特尔也将持续提升自身AI产品性能,以支持这一全新的大语言模型。

文章来源于:电子产品世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>