高通与智谱基于骁龙8至尊版移动平台合作适配优化GLM-4V端侧视觉大模型,加速多模态生成式AI体验的终端侧部署

发布时间:2024-10-22  

要点:

  • 高通与智谱合作将GLM-4V端侧视觉大模型,面向骁龙8至尊版进行深度适配和推理优化,支持丰富的多模态交互方式。

  • 利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化,GLM-4V端侧视觉大模型能够以超过70 tokens/秒的速度在终端侧高速运行。

  • GLM-4V-MiniGLM-4V-Nano端侧视觉大模型和GLM-4-9B模型即将在高通AI Hub上线,搭载骁龙8至尊版的商用手机均可支持。

20241021日,夏威夷——骁龙峰会首日,智谱与高通技术公司宣布合作将GLM-4V端侧视觉大模型,面向骁龙8至尊版进行深度适配和推理优化,支持丰富的多模态交互方式,进一步推动多模态生成式AI在终端侧的部署和推广,赋能更加情境化、个性化的终端侧智能体验。

骁龙8至尊版移动平台搭载全新第二代高通®Oryon CPU和高通®Hexagon NPU,终端侧AI能力再次实现突破,能够赋能规模更大且更加复杂的多模态生成式AI用例在终端侧高效运行。充分利用骁龙8至尊版的强大终端侧AI性能和高通AI软件栈为模型带来的性能优化,GLM-4V端侧视觉大模型能够实现令人惊叹的处理能力,以超过70 tokens/秒的速度在终端侧高速运行。

改善情境化和定制化一直是用户体验的长期需求。多模态生成式AI模型能够利用终端侧丰富的传感器数据,例如文本、图像、音频、视频等,打造更加直观、无缝的智能交互体验。通过与骁龙8至尊版进行深度适配和推理优化,终端侧多模态应用ChatGLM能够支持三种终端侧交互方式:使用相机进行实时语音对话、上传照片进行对话、上传视频进行对话。丰富的多模态输入输出方式赋能智能助手ChatGLM实现了跨家庭、出行、工作和教育等多个场景的应用,例如通过手机摄像头获取穿搭建议,利用视觉信息实现智能导航,通过车内摄像头识别遗留物品,拍摄画作进行风格解析等。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉表示:“高通与智谱共同致力于推动生成式AI在边缘终端上的应用和普及,并已经在手机、PC、汽车等领域展开了紧密合作。结合高通在终端侧AI领域的长期领导力,跨不同边缘终端的广泛市场布局,以及骁龙8至尊版的AI创新,我们在推动终端侧生成式AI发展方面独具优势。多模态是发挥终端生成式AI潜力的重要技术发展方向,我们期待携手智谱,探索多模态在终端侧AI应用上的更多可能。”

智谱COO张帆表示:“骁龙8至尊版移动平台提供了卓越的AI算力,结合高通AI软件栈推理框架的性能优化,使得智谱的终端侧大模型可以在设备端实现高速推理。我们相信,终端侧算力平台的性能跃迁结合大模型能力的进步,会将生成式AI带入新的时代。终端侧运行的生成式AI,在为用户提供变革性体验的同时,能更好地保护用户隐私安全,真正让AI变革用户的日常生活。”

GLM-4V-MiniGLM-4V-Nano端侧视觉大模型和GLM-4-9B模型即将在高通AI Hub上线,搭载骁龙8至尊版的商用手机均可支持。

骁龙峰会将展示基于GLM-4V端侧视觉大模型的用例,敬请期待。欲观看峰会主题演讲直播回放,请访问骁龙峰会专题页

关于高通公司

高通公司坚持不懈地创新,让智能计算无处不在,助力全球解决一系列最重大的挑战。我们经验证的解决方案推动主要行业转型,骁龙®品牌平台赋能非凡消费者体验。依托公司近40年为行业制定标准和打造划时代突破性技术的领导力,我们提供领先的边缘AI、高性能低功耗计算和无与伦比的连接。我们携手生态系统合作伙伴赋能下一代数字化转型,丰富人们的生活、改善企业业务并推动社会进步。在高通,我们用科技成就人人向前。

高通公司包括技术许可业务(QTL)和我们绝大部分的专利组合。高通技术公司(QTI)是高通公司的全资子公司,与其子公司一起运营我们所有的工程、研发活动以及所有产品和服务业务,其中包括半导体业务QCT。骁龙和高通品牌产品是高通技术公司和/或其子公司的产品。高通专利技术由高通公司许可。


文章来源于:电子创新网    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>