爱芯通元NPU完成Llama 3和Phi-3大模型适配,推动AI大模型技术应用普

发布时间:2024-04-28  

人工智能芯片研发及基础算力平台公司爱芯元智宣布,近日,Meta、Microsoft相继发布具有里程碑意义的Llama 3系列和Phi-3系列模型。为了进一步给开发者提供更多尝鲜,爱芯元智的NPU工具链团队迅速响应,已基于AX650N平台完成 Llama 3 8B和Phi-3-mini模型适配。

本文引用地址:

Llama 3

上周五,Meta发布了Meta Llama 3系列语言模型(LLM),具体包括一个8B模型和一个70B模型在测试基准中,Llama 3模型的表现相当出色,在实用性和安全性评估中,与那些市面上流行的闭源模型不相上下。

1714278713549268.png

在架构层面,Llama 3选择了标准的仅解码(decoder-only)式Transformer架构,采用包含128K token词汇表的分词器。Llama 3使用了超过15T的公开数据进行训练,其中5%为非英文数据,涵盖30多种语言,训练数据量是前代Llama 2的七倍。

根据Meta的测试结果,Llama 3 8B模型在MMLU、GPQA、HumanEval等多项性能基准上均超过了Gemma 7B和Mistral 7B Instruct,70B模型则超越了名声在外的闭源模型Claude 3的中间版本Sonnet,和谷歌的Gemini Pro 1.5相比三胜两负。

1714278812880726.png

实际上板结果:目前AX650N已经完成了Llama 3 8B Int8版本的适配,若采用Int4量化,每秒token数还能再翻一倍,能满足正常的人机交流。

Phi-3

Llama 3刚发布没多久,竞争对手就来了,而且是可以在手机上运行的小体量模型。

本周二,微软发布了自研小尺寸模型Phi-3。尽管Phi-3-mini被优化至可部署在手机上,但它的性能可以与Mixtral 8x7B和GPT-3.5等模型相媲美。微软表示,该创新主要在于用了质量更好的训练数据集。

1714278832656999.png

image.png

实际上板结果:目前AX650N已经完成了Phi-3-mini Int8版本的适配,已能满足正常的人机交流。

其他成果

AX650N能第一时间完成Llama 3和Phi-3的适配,源于今年以来相关团队悄悄完成了现有NPU工具链针对大语言模型的支持和调优。目前除了Llama 3之外,已经完成了Llama 2、TinyLlama、Phi-2、Qwen1.5、ChatGLM3等国内外主流的开源大语言模型适配。

1714278867855108.png

后续计划

今年是AIPC的元年,爱芯元智将针对AIPC的常见应用提供更多的解决方案。充分发挥爱芯通元NPU高能效比的技术优势,让各种有趣的大模型实现高性价本地化部署,做到“人人都用得起大模型”,深入实践“普惠AI,造就美好生活”。

文章来源于:电子产品世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>