高通与腾讯混元合作,基于骁龙8至尊版共同推动腾讯混元大模型终端侧部署

发布时间:2024-10-22  

要点:

  • 高通与腾讯混元展开合作,基于骁龙8至尊版移动平台实现腾讯混元大模型7B3B版本的终端侧部署,进一步扩展生成式AI技术在终端侧的应用和普及

  • 借助骁龙8至尊版的强大终端侧AI性能和高通AI软件栈,腾讯混元大模型能够实现出色的终端侧运行表现,为腾讯的广泛业务场景和应用提供底层端侧AI支持。

20241021日,夏威夷——骁龙峰会期间,高通技术公司宣布与腾讯混元合作,基于骁龙8至尊版移动平台,共同推动了腾讯混元大模型7B3B版本的终端侧部署,展示了此合作实现出色的运行表现。这将有助于腾讯混元大模型为广泛的业务场景提供技术支持,通过利用终端侧AI加速产品创新,有效降低运营成本,并进一步扩展生成式AI在终端侧的应用和普及。

骁龙8至尊版移动平台搭载全新的第二代定制高通®Oryon CPU和增强的高通®HexagonNPU,充分利用高通®AI引擎优势,能够带来更强大的终端侧生成式AI处理能力。骁龙8至尊版的强大AI算力,结合高通®AI软件栈以及行业领先的工具套件,包括高通®AI模型增效工具包(AIMET)等,为模型提供了全栈优化能力。通过使用基于硬件的INT4量化技术,可以大幅提升腾讯混元大模型在终端侧的运行效率,端侧推理实现首个token生成时延达到150ms,解码速率达到超过30 tokens/秒。

腾讯混元大模型已为腾讯内部超过700个业务场景和C端应用提供底层技术支持,包括微信输入法、腾讯手机管家、QQ、腾讯视频、QQ浏览器、企业微信、腾讯会议等,通过实现面向骁龙8至尊版的终端侧部署,能够利用终端侧生成式AI的丰富优势,更好地满足广泛的终端侧业务需求。例如,腾讯手机管家短信智能识别功能率先利用腾讯混元的终端侧模型能力,通过海量数据结合深度神经网络与预训练,让模型具备极强的语义理解能力,通过结合上下文语境信息更准确地理解短信意图,使短信召回率大幅提高将近200%,识别准确率提升20%。由于部分短信涉及用户个人敏感信息,端侧AI还可以在保证出色性能表现的同时,有效保护用户的个人信息隐私安全。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉表示:“高通与腾讯混元大模型团队长期携手推动前沿终端侧技术创新在移动应用中的部署和推广,为广大用户和消费者打造创新的应用体验。高通公司致力于赋能广大ISV合作伙伴和开发者,利用高通强大的异构计算、行业领先的CPUGPUNPU和软件解决方案,在搭载骁龙平台的终端上推动生成式AI应用的普及,惠及全球更多用户。”

腾讯机器学习平台部总经理,腾讯混元大模型负责人王迪表示:“腾讯混元已经构建起了全链路的大模型矩阵和应用平台。同时,腾讯混元不断完善部署生态。在云服务场景,我们通过多种技术在提升效果的同时调用价格持续降低。在智能终端场景,腾讯和高通持续深入合作,赋能不同业务对端侧模型的部署需求,并在腾讯丰富的生态中持续迭代能力,让更多的B端和C端用户获得实用大模型的非凡体验。”

欲观看峰会主题演讲直播回放,请访问骁龙峰会专题页

关于高通公司

高通公司坚持不懈地创新,让智能计算无处不在,助力全球解决一系列最重大的挑战。我们经验证的解决方案推动主要行业转型,骁龙®品牌平台赋能非凡消费者体验。依托公司近40年为行业制定标准和打造划时代突破性技术的领导力,我们提供领先的边缘AI、高性能低功耗计算和无与伦比的连接。我们携手生态系统合作伙伴赋能下一代数字化转型,丰富人们的生活、改善企业业务并推动社会进步。在高通,我们用科技成就人人向前。

高通公司包括技术许可业务(QTL)和我们绝大部分的专利组合。高通技术公司(QTI)是高通公司的全资子公司,与其子公司一起运营我们所有的工程、研发活动以及所有产品和服务业务,其中包括半导体业务QCT。骁龙和高通品牌产品是高通技术公司和/或其子公司的产品。高通专利技术由高通公司许可。


文章来源于:电子创新网    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>