5月17日,芯原主办的“第十四届松山湖中国IC创新高峰论坛”上,合肥银牛微电子有限责任公司研发副总裁周凡表示,3D空间计算正在处于发展的高速阶段,未来的3D空间计算必然会彻底改变我们的生活。
空间计算是指以空间为基础,利用计算机技术进行空间数据采集、处理、分析、模拟和可视化的计算科学。苹果、微软、英伟达早年就已经发力。
周凡介绍,空间计算的应用有一个行业共识就是2D视觉已经很难满足日益复杂的系统需求,我们需要更多的维度帮助机器人和智能设备理解,和真实世界进行互动,也就是从2D到3D。
3D空间计算在行业初期通用做法是用通用的GPU或FPGA实现软件的3D算法,系统的功耗、体积都是非常大的,如果用算法,空间和帧率很难做到很高。现在很多的需求和系统应用对系统帧率和分辨率非常高,这样就很难满足需求。对于3D空间的感知和计算需要多传感器的融合,比如视觉、激光雷达的融合。
银牛微电子的做法是把所有的3D算法芯片化,同时也集成了全球领先的3D感知处理硬件单元、AI与SLAM硬件引擎,能有效分担系统算力、降低系统功耗和成本。
通过芯片内建的完全可编程AI CNN引擎,银牛自研系列芯片最高能提供3.5TOPS算力,不仅提供完整的人工智能/深度学习解决方案和算法库,同时提供客制化人工智能算法API接口满足客户灵活需求相比业界通用方法将软件算法直接运行在系统处理器;通过实现SLAM的芯片化,银牛自研系列芯片将SLAM流程分工到不同芯片模块中运行,节省了系统主控芯片算力。
对于银牛微电子来说,芯片是其最大竞争力。根据周凡的介绍,银牛是全球唯一量产单芯片集成芯片化3D视觉感知AI、SLAM模块的SoC芯片,全球唯二3D双目立体算法芯片化的量产芯片。
2022年,银牛成功量产NU4100,该芯片产品采用12nm制程,FHD@60fps、720p@120fps,运动到显示延时仅1毫秒,AI算力为3.5TOPS,功耗仅0.5~0.9W,支持6路摄像头多传感器融合。
根据计划,银牛2024年则将推出7.5TOPS的NU4500,NU4500是一款高度集成的空间计算系统集成主控芯片,包含丰富的硬件引擎,提供3D感知、AI和各种空间计算应用支持。NU4500架构具备强大的3D空间计算功能,与高性能 CPU、VPU、A和SP 内核相结合,能够以低功耗实现高性能3D空间计算。2025年将推出5nm的NU5000。
银牛3D空间计算技术可支持和提供头部、手腕、指尖等多个视觉子系统,并将其有机地整合在一起,从而组成人形机器人整体视觉系统。
据了解,银牛微电子已经和小米在内的多家头部企业以及多所全国TOP高校等150家以上企业和机构建立合作,通过3D视觉系统和三维多模态大模型帮助人形机器人更好的感知、识别和理解真实物理世界,助力人形机器人锐眼识界。