6月13日,在芯原AI专题技术研讨会上,芯原执行副总裁、IP事业部总经理戴伟进分享了大模型时代,边缘计算变革的机遇与挑战。
“大模型已经来到了边缘。”戴伟进表示,AGI大模型正在从AI Everywhere走到AI for Everyone。各行各业都在推广大模型,现在数据中心正在将大型人工智能模型引入嵌入式系统,首先落地的边缘设备包括手机、AI PC、汽车。
具体到芯原边缘端的产品,神经网络处理器 (NPU)方面, 已在全球累积出货超过1亿颗,已被72家客户用于其128款人工智能芯片中,拥有超过10个市场应用领域
图形处理器 (GPU) 方面,已在全球累积出货近20亿颗,经过近20年的嵌入式市场耕耘,目前芯原已经拥有70项国内外专利,近千万辆汽车搭载了芯原的IP。芯原GPU得到了各种广泛的应用,其核心技术在于图形运算及渲染、 3D 建模、2D或 3D图形加速等图形处理,适用于大型并行运算应用,以及云游戏、大型桌面游戏。
视频处理器 (VPU)方面,已经达到全球领先水平,该产品能够利用AI赋能智能视频处理,实现预测性视频质量优化,专用视频处理单元,可以实现高密度、超低时延流媒体,同时具备成本效益规模,帮助视频协作、云游戏以及交互式流媒体不断加速。
芯原AI-Computing IP 产品覆盖数据中心、边缘服务器、嵌入式设备三个场景,包括VIP9X00 NPU IP、CC8X00 GPGPU IP、GC9X00AI NPU+GPU IP、CCTC-MP Tensor Core GPU IP。
在软件框架上,芯原针对图形、通用GPU、AI三大方向优化,结合芯原的Acuity工具包,这款强大的IP支持含PyTorch、ONNX和TensorFlow在内的所有主流框架。
芯原的NPU IP拥有全球领先的性能,实际测试,可以在2秒以下处理20步Stable diffusion 1.5,LLaMA2 7B则达到了20 Tokens/s。
早在第十三届芯原CEO论坛上,芯原就对大模型的未来进行了五大预测:
与无差异化的多模态大模型相比,以语言为基础的多模态大模型会成为主流;
2028年,中国基础大模型的数量将少于10个;
2028年,用于端侧微调卡和推理卡的销售额将超过用于云侧的训练卡;
2026年,内置AIGC的手机将成为中高端手机的主流,是中高端手机换机的主驱动力;
2026年,全球双目全彩AR眼镜出货量将突破1,000万台。
在Chiplet方面,针对AIGC应用,芯原设计开发所需的平台化的Chiplet方案及相关技术,并提供从Chiplet、Die-to-Die接口、封装到软件的整体解决方案。
回顾历史,2001年芯原在上海成立,成为落地张江的第一批芯片设计公司之一。2020年芯原股份在科创板上市。
截止至2023年12月底,公司员工总数为1,864人,其中89%为研发人员;张江716人,成都781人,南京229人。2022年35%销售收入来自境外;95%研发人员在国内。
目前,芯原的半导体IP授权业务销售收入达到全球第七,在中国则达到第一,知识产权授权使用费收入全球第五,IP种类全球第二。
具体从每种芯片来看,2023年全年,在芯原IP授权业务收入中 (包括知识产权授权使用费、特许权使用费) ,图形处理器GPU IP,神经网络处理器NPU IP和视频处理器VPU IP收入占比合计约72%。
芯原提供芯片设计平台即服务(Silicon Platform as a Service, SiPaaS),即从无制造 (Fabless) 到轻设计 (Design-lite)。从2016到2019,4年4代产品成功流片与量产,第一代从规格定义到流片16个月,后两代从规格确定到流片9个月,首次流片即量产。
此外,芯原还提供一站式设计服务。芯原拥有14nm/10nm/7nm/5nm FinFET和28nm/22nm FD-SOI工艺节点芯片的成功流片经验,同时已有5nm SoC一次流片成功,多个一站式服务项目正在执行,可提供包含软件支持的整体解决方案,设计能力获得全球知名企业客户的认可,且晶圆厂中立。