高通持续推动终端侧生成式AI变革,推出高通AI Hub赋能开发者

发布时间:2024-02-27 09:30  

1.jpg

要点:

• 高通现赋能终端侧AI在下一代PC、智能手机、软件定义汽车、XR设备和物联网等领域规模化商用,让智能计算无处不在。

• 高通AI Hub为骁龙和高通平台提供超过75个优化AI模型,助力开发者缩短产品上市时间,并让终端侧AI的诸多优势在应用程序上得以发挥。这些模型也将在Hugging Face和GitHub上提供。开发者只需通过几行代码即可在搭载高通平台的云托管终端上自行运行这些模型。

• 高通AI研究(Qualcomm AI Research)演示了在Android智能手机和Windows PC上运行多模态大模型和定制大视觉模型。

巴塞罗那——高通技术公司在巴塞罗那世界移动通信大会(MWC)上发布了公司在AI领域的最新进展。从全新高通®AI Hub、到前沿研究突破以及AI赋能的商用终端展示,高通技术公司正在为开发者赋能,并变革骁龙®和高通平台支持的广泛终端品类上的用户体验。

高通技术公司高级副总裁兼技术规划和边缘解决方案业务总经理马德嘉表示:“随着面向智能手机的第三代骁龙8和面向PC的骁龙X Elite的推出,我们开启了终端侧AI的规模化商用。现在,借助高通AI Hub,我们将赋能开发者充分发挥这些前沿技术的潜力,打造具有吸引力的AI赋能应用。高通AI Hub为开发者提供了一个全面的AI模型库,使他们能够轻松快速地将预优化AI模型集成进应用程序,从而打造更快、更可靠且更具隐私性的用户体验。”

2.jpg

高通AI Hub为开发者开启卓越终端侧AI性能

全新高通AI Hub包含预优化AI模型库,支持在搭载骁龙和高通平台的终端上进行无缝部署。该模型库为开发者提供超过75个主流的AI和生成式AI模型,比如Whisper、ControlNet、Stable Diffusion和Baichuan-7B,可在不同执行环境(runtime)中打包,能够在不同形态终端中实现卓越的终端侧AI性能、降低内存占用并提升能效。所有模型均经过优化,以充分利用高通AI引擎内所有核心(NPU、CPU和GPU)的硬件加速能力,从而使推理速度提升4倍。AI模型库能够自动处理从源框架到主流执行环境的模型转换,直接与高通AI引擎Direct SDK协同工作,并应用硬件感知优化。开发者可将这些模型无缝集成进应用程序,缩短产品上市时间,发挥终端侧AI部署的诸多优势,比如即时性、可靠性、隐私、个性化和成本优势。

这些优化模型现已在高通AI Hub、GitHub和Hugging Face上提供。高通AI Hub将持续增加新模型,同时还将支持更多平台和操作系统。开发者现可注册登录,在搭载高通技术公司平台的云托管终端上自行运行模型,并通过高通AI Hub提前获取新特性和AI模型。

Hugging Face联合创始人兼CEO Clement Delangue表示:“我们很高兴能够在Hugging Face上托管高通技术公司的AI模型。这些主流AI模型面向终端侧机器学习而优化,并且可在骁龙和高通平台上使用,将赋能下一代移动开发者和边缘AI应用,让AI进一步惠及所有人。”

3.jpg

前沿AI研究进展

• 高通AI研究展示了首个在Android智能手机上运行的大语言和视觉助理大模型(LLaVA),这是一个超过70亿参数的大型多模态语言模型(LMM),可接受包括文本和图像在内的多种类型的数据输入,并能够与AI助手生成关于图像的多轮对话。该LMM能够在终端侧以实时响应的速度生成token,从而增强了隐私、可靠性、个性化和成本优势。具有语言理解和视觉理解能力的LMM能够赋能诸多用例,例如识别和讨论复杂的视觉图案、物体和场景。

• 高通AI研究还将展示高通首个在Android智能手机上运行的LoRA模型。通过运行支持LoRA的Stable Diffusion,用户可基于个人或艺术偏好创建高质量自定义图像。LoRA减少了AI模型的可训练参数数量,赋能更加高效、可扩展、定制化的终端侧生成式AI用例。除了能够实现针对不同的艺术风格赋能语言视觉大模型(LVM)微调外,LoRA还广泛适用于定制AI模型(如大语言模型),以打造量身定制的个人助手、改进语言翻译等。

• 在Windows PC上,高通AI研究将展示全球首个在终端侧运行的超过70亿参数的大型多模态语言模型(LMM),可接受文本和音频输入(如音乐、交通环境音频等),并基于音频内容生成多轮对话。

在MWC巴塞罗那上展示跨终端品类赋能生成式AI

• 智能手机:高通技术公司将展示一系列搭载第三代骁龙®8移动平台的商用旗舰AI智能手机,包括荣耀Magic6 Pro、OPPO Find X7 Ultra和Xiaomi 14 Pro。每款终端都集成了令人兴奋的生成式AI新特性,比如图像扩充(小米)、智慧成片和一拖日程(荣耀)、AI消除(OPPO)。

• PC:全新骁龙X Elite及其45 TOPS NPU专为终端侧AI打造,将变革用户与PC的交互方式。高通技术公司将使用广受欢迎的免费图像编辑器GIMP集成Stable Diffusion插件进行演示:用户可输入想要的图像,生成式AI将在7秒内生成图像,速度比x86竞品快3倍。

• 汽车:利用行业领先的AI硬件和软件解决方案,高通技术公司还将演示骁龙®数字底盘平台支持的传统AI和生成式AI功能,旨在为驾乘人员提供更加强大、高效、隐私、安全且个性化的体验。

• 消费级物联网:公司将展示在骁龙平台上运行的Humane AI Pin,让用户能够在全新、对话式以及无屏的终端形态中随时随地使用AI。

• 连接:全新推出的骁龙X80调制解调器及射频系统集成第二代5G AI处理器,助力提升蜂窝性能,扩大覆盖范围,降低时延并提高能效。高通还推出首个AI优化的Wi-Fi 7系统——高通FastConnect 7900移动连接系统,利用AI为自适应、高性能、低时延和低功耗的本地无线连接树立新标杆。

• 5G基础设施:高通技术公司将展示三项突破性的AI辅助网络管理增强特性,包括助力无线接入网(RAN)工程师简化网络和切片管理任务的生成式AI助手,降低网络能耗的AI辅助开放式RAN应用程序(rApp),以及AI辅助5G网络切片生命周期管理套件。

欲了解有关高通技术公司AI创新和演示的更多信息,请访问公司网站或莅临MWC巴塞罗那高通展位(Fira Gran Via 3号厅3E10号)参观体验。

关于高通公司

高通公司正在赋能人与万物智能互联的世界。基于“统一的技术路线图”,我们将驱动智能手机变革的众多技术——包括先进的连接、高性能低功耗计算、终端侧智能等,高效地扩展至不同行业中的下一代智能网联终端。高通和骁龙平台带来的创新将助力实现云边融合,变革众多行业,加速数字经济发展,并改变我们体验世界的方式,创造更加美好的生活。

高通公司包括技术许可业务(QTL)和我们绝大部分的专利组合。高通技术公司(QTI)是高通公司的全资子公司,与其子公司一起运营我们所有的工程、研发活动以及所有产品和服务业务,其中包括半导体业务QCT。骁龙和高通品牌产品是高通技术公司和/或其子公司的产品。高通专利技术由高通公司许可。

文章来源于:ECCN    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>