技术咨询
代买器件
商务客服
研发客服随着人工智能技术的飞速发展，端侧AI正逐渐崭露头角，成为智能硬件领域的重要驱动力。AI大模型不再仅仅束之于云端，而是开始渗透至各类终端设备，甚至包括智能手机、PC和汽车等常见产品。在E维智库第12届中国硬科技产业链创新趋势峰会上，安谋科技的产品总监鲍敏祺在其演讲的《端侧AI应用“芯”机遇，NPU加速终端算力升级》中，分享了AI端侧应用的创新机遇及其背后的技术挑战，特别是NPU（神经网络处理单元）如何助力终端算力的升级，推动AI大模型走向边缘计算。
安谋科技产品总监鲍敏祺
AI端侧应用的崛起
传统上，强大的AI计算能力主要集中在云端服务器中，通过庞大的计算资源和数据中心支撑各种AI应用。然而，随着计算需求的日益增长，AI技术正逐步向端侧迁移。鲍敏祺指出，端侧AI的主要优势在于时效性和数据安全性。与云端计算相比，端侧计算能够实时处理用户数据，避免了因数据传输而带来的延迟和隐私风险。例如，未来的智能手机不仅能够通过AI实时分析照片，还能够帮助用户快速整理长文本信息，甚至在图片库中根据内容进行智能搜索。
AI端侧的这一转变对算力提出了更高要求。尽管云端计算拥有强大的处理能力，但端侧设备由于硬件和带宽的限制，算力的提升必须在能效和成本之间找到平衡。鲍敏祺分享了高通的骁龙X Elite芯片的成功案例，说明了在提升AI算力的同时，如何保证功耗控制和计算效率。
NPU：端侧AI的核心加速器
在NPU的支持下，AI大模型可以在端侧设备中得到更好的应用和落地。鲍敏祺在演讲中详细介绍了安谋科技的“周易”NPU，其通过针对不同AI模型的硬件加速优化，显著提高了计算性能与能效比。NPU是专门为神经网络计算设计的处理单元，与传统的通用CPU和GPU相比，具有更高的计算效率和更低的功耗。
在端侧，AI模型的大小和计算量往往受限于设备的内存带宽和处理能力。以语言模型为例，鲍敏祺表示，在目前的端侧环境下，10至30亿参数的模型是较为普遍的，而7B模型则处于较为苛刻的边缘计算环境中。通过对NPU架构的优化，尤其是在图像、视频和音频输入等多模态数据的处理上，“周易”NPU能够有效提升计算效率，帮助设备实现实时处理和智能决策。
多模态AI：拓展端侧AI应用场景
鲍敏祺还提到，AI端侧不仅限于语言模型的应用。未来，AI将进一步拓展到多模态场景中，图像、音频、视频等不同类型的数据将被融合并进行智能分析。通过NPU的加速，端侧设备能够实现更加灵活和智能的交互方式。例如，智能汽车中的AI系统能够通过视频流分析驾驶员的行为和车内环境，实时优化车载系统的运行；可穿戴设备也能够在多模态数据的支持下，提供更加精准的健康监测和智能反馈。
这种多模态的应用将推动AI技术在各类终端产品中的深入应用，从传统的手机、PC到智能家居、智能汽车等设备，都将成为AI技术的“新大陆”。NPU作为硬件加速的核心组件，其在多模态数据处理上的优势，将使得AI体验更加丰富和个性化。
面临的挑战与未来展望
尽管端侧AI应用充满潜力，但在实现普及之前，仍然面临一些挑战。鲍敏祺指出，成本、功耗和生态系统的建设是目前AI端侧发展面临的主要难题。存储介质的带宽和功耗限制，使得AI计算在终端设备中难以像云端一样扩展和处理庞大的数据集。此外，AI模型的不断进化和迭代也需要更加成熟的软件和工具支持。
为应对这些挑战，安谋科技通过“周易”NPU的架构创新，不仅提升了计算能力，还优化了数据本地化和低精度计算，减少了数据搬运带来的功耗。特别是对于智能汽车、智能家居等领域，NPU的高能效和低延迟表现，使得端侧AI能够在有限的硬件资源下，提供出色的性能。
未来，随着硬件技术的不断进步和AI应用场景的不断拓展，NPU将成为端侧AI计算的核心加速器。鲍敏祺展望，端侧AI将不再仅仅局限于计算能力的提升，还将通过智能算法的不断优化，推动AI体验的个性化和智能化，为各类终端设备赋能，真正实现“AI为终端赋能”的愿景。
相关文章
