图像或视觉传感器这两年一直都是热门领域,即便其应用场景支撑力之一的手机市场表现平平,还有华为被列入实体清单、新冠疫情爆发等干扰因素存在,这块市场近2年的总体发展仍然相当有看头。
不过当前我们关注的图像/视觉传感器主流,还是比较常见基于帧(frame-based)的图像传感器。EE Times美国和中国版此前刊发过不少文章谈基于事件(event-based)的视觉/图像传感器——从市场来看,这还是个新兴领域。不过基于事件的视觉技术,或者叫神经形态视觉技术(neuralmorphic vision technology),其实发展年份也不算短了。
1991年最初有人提出silicon retina(硅视网膜)模仿人眼神经结构之后,基于事件的视觉技术研究其实就逐渐变得多样。
可能大部分读者对基于事件的视觉感知技术还很陌生,不过这种技术现在是CVPR这类视觉技术峰会的常客。今年年中的CVPR上,大约有15篇paper都是在谈基于事件的视觉技术。
这个领域比较有代表性的公司如Prophesee、iniVation,这两家公司分别是在2014、2015年成立的,到如今也有6、7年的历史了。此前我们采访Prophesee CEO Luca Verre的时候,他也谈到基于事件的视觉技术发展并不是现在才开始的,只不过如今开始步入到了成熟期,对商用真正具备了价值。这两年Prophesee在国内的市场动作正变得频繁,这也可能是基于事件的视觉技术成熟的某种体现。
10年市场预期
有关基于事件的视觉技术本身,并不是本文要谈的重点,此前我们也花了不少篇幅来介绍这类技术。简单来说,基于事件的视觉/图像传感器,所有的像素是相互独立、异步的,每个像素仅在感知到外界有亮度上的变化(达到一定阈值)时,才会输出;应用这种技术商业企业的宣传普遍说,其等效帧率因此达到了10000fps。
本质上这类图像传感器的特点,就是仅在检测到外界的运动变化时才会记录信息,且不记录静态信息。其主要价值大致上有几个,其一是超低延迟,其二是不存在动态模糊,其三高动态范围,以及超低功耗。另外对后端而言还有些附加价值,比如说产生的数据量,比一般基于帧的技术少很多。
像这样的视觉/图像传感器,用来拍照肯定是不行了。但其特性决定了,它格外适用于高速避障、ADAS/AV,以及更多工业领域的视觉感知应用。就市场来看,这的确是个新兴应用领域。
一般我们要观察某一种技术是不是真的具备发展潜力,无非也就是看参与这项技术商用的企业发展情况,以及市场分析机构的预测和报告。
其实市场分析机构此前都没怎么提过基于事件的视觉技术,不过在今年7月,IDTechEx比较罕见地在图像传感器技术10年报告中,提到了基于事件的视觉技术——IDTechEx预计基于事件的视觉传感器芯片,未来10年会达成每年2000万美元的市场规模。他们将目前的市场称作“pre-revenue status”。
IDTechEx提市场发展动因,主要就是在谈基于事件的视觉感知技术的几个优势,包括仅检测场景的动态变化,后续数据处理更简单,数据传输和处理的量显著减少;高动态范围,也就意味着画面中的高亮度溢出情况显著减少,而且夜晚超低照度的场景也没问题等等;很高的时间分辨率——也就是所谓达到等效10000fps的帧率(如果按照基于帧的角度思考的话)。
基于事件的视觉感知技术虽然是没有“帧”的概念的,但因为后端传统算力平台的限制,系统仍然会有个“时间分辨率”,只不过这个时间分辨率会显著高于传统基于帧的方案(比如传统视觉/图像传感器60fps/120fps的时间分辨率)。
这家机构预测的市场应用也在于自动驾驶、ADAS、无人机的避障、导航。不过“这些市场仍然需要大量软件开发和数据收集工作,来完整地利用基于事件的视觉数据”;“因此IDTechEx相信,具备更具可预测性的输入数据的那些更小的市场,比如说AR/VR的虹膜追踪、激光扫描(profiling),会成为基于事件的视觉技术最早的应用。”
Prophesee今年也援引过一份Yole Developpement的市场预测数据。Prophesee公布的这份数据在量级上看起来会更激进一些,如上图所示。预计到2030年,在AI计算与感知市场,神经形态AI会占到8%,规模70亿美元——这应该不只是说的基于事件的视觉技术;2035年则会增长到18%。
而基于事件的视觉传感器,在整个CIS(CMOS图像传感器)市场上的份额,预计到2030年会达到9%——如上图所示。从其应用构成来看,似乎从2023年开始,“Mobile”就会成为其中的主力。其他应用还包括IoT、工业、监控、汽车。在“Mobile”手机市场的渗透预测,还是有些出乎我们意料的。
市场在探索中成长
前两年,三星申请了Dynamic Vision Sensor商标,主要应用于移动和平板——动态视觉其实是基于事件的视觉感知技术的另一个名字。iniVation也将自家的技术称作动态视觉。iniVation预设比较早的市场应用是工业视觉应用——这和Prophesee的认识类似。我们以前在谈工业4.0的时候,经常提到工厂生产的预测性维护(predictive maintenance),还有高速生产检测等,动态视觉平台据说就能实现高速3D基础设施检测。
前不久Prophesee在谈自家传感器的应用时,其实也提到了工业领域,这类方案可感知震动频率、幅度,进行非接触性震动检测——比如对大型设备设施震动做长期观察;甚至弧焊引导——因为基于事件的视觉传感器动态范围很大,焊点太亮也没问题,依然可以引导焊头位置走向。
这些应用其实都是基于事件的视觉技术低延迟、高动态范围、高时间分辨率的体现。此前iniVation CEO Kynan Eng在接受EE Times美国版采访时曾提到,工业视觉是相对低风险,但市场规模不大的应用方向。iniVation前年和三星合作,开始向机器视觉行业销售完整的摄像头——从单纯出售芯片到更偏系统的发展。这是典型的市场参与者寻求价值扩大和探索。
iniVation认为,和三星这类CIS市场的巨头合作能够扩大其传感器产品在机器视觉领域的应用范围,将其扩展到更多的市场上,比如说食品、包装、消费电子、汽车等。
其实Prophesee此前和索尼合作,一起推出堆栈式(stacked)基于事件的视觉传感器,在市场上是更加广为人知的。Luca Verre告诉我们,Prophesee和索尼合作推出的已经是Prophesee推出的第四代视觉传感器产品了,主要是结合Prophesee基于事件的视觉感知技术,外加索尼的背照式+3D堆栈生产工艺,让基于事件的视觉传感器像素尺寸第一次做小到了4.86μm。这也算是基于事件的视觉,在技术上的探索了。
Prophesee的视觉传感器
不过Prophesee预期中,未来10年基于事件的视觉感知技术将会大规模应用在移动市场上,这一点其实有些令人困惑。因为这类传感器并不能直接用于拍照、摄影。Kynan Eng说要说服手持设备制造商,将这样的传感器放到手机里面去。“这对于高速变化的感知很有帮助,虽然可能很多人就只是想用手机自拍、拍摄食物而已。”
Luca Verre前不久在媒体沟通会上列举的应用实例,包括帮助“改善手机拍照的质量”。因为一般基于帧的图像传感器受制于曝光时间,画面中的高速运动对象会出现运动模糊。而基于事件的视觉感知技术有着很高的时间分辨率,前文就提到了它无惧动态模糊,所以将基于事件的摄像头与传统RGB摄像头配合,就能实现运动伪像的消除。
不过我们还没有亲身看到过这种应用,不了解其实际效果如何。因为两种技术的结合,在成熟应用上也需要完善的算法。许多应用虽然理论上行得通,但实际操作难度甚大。Luca Verre说Prophesee本身会提供这样的算法。不知道未来1-2年会不会看到这样的摄像头在手机上问世。
Speck摄像头模组
市场调研机构Yole分析师Pierre Cambou去年说,这类技术在“移动市场的窗口期会是2021或2022年。华为手机上有5颗摄像头,但却还没有看到always-on(总是开启状态)的神经形态摄像头。很多人常谈到多光谱技术,但我一直在想的是实时感知能力(always-on awareness)。”
早在2019年,aiCTX和iniVation共同发布了一款名为Speck的低功耗神经形态SoC,主要面向手机和IoT市场。整个芯片包含了视觉传感器+卷积神经网络处理器。其目标应用场景,就是以超低功耗达成always-on总是开启状态的响应。
不知道类似预防运动模糊,以及始终开启的视觉感知能力,未来在手机应用领域,会不会成为基于事件的视觉传感器的杀手锏。我们认为,始终开启的视觉感知能力在手机设备上可能会是个很重要的方向——它能实现大量玩法,比如手机息屏状态下超低功耗的环境感知能力。这两年可能就要见分晓。
近2-3年的关键市场发展期
在汽车领域,“因为我们的传感器始终开启,因为低延迟和不是基于帧的特性,能够只检测相关ROI,利用这样的信息来补充其他各种技术,比如激光雷达。”其实在汽车应用上,Prophesee此前列举的一个应用就是将基于事件的视觉感知,与激光3D Point Cloud扫描做配合,同时利用激光的精度与基于事件感知技术的速度,让后者的传感器去追踪激光,并对扫描到的内容做3D建模,来分析路况。
这种技术已经应用在一种名为VoxelFlow传感器技术上,是Terranet AB和奔驰一起开发的,其中的传感器就是来自Prophesee。Prophesee上次发布消息是有关新一轮融资的,获得C轮融资的资方背景包括小米、豪威等,还是能够一定程度表明市场的主流参与者有将目光投向这种技术。虽然对投资行为而言,广撒网一直是个常规。
Kynan Eng此前也提到了汽车应用,表达低功耗、低数据量对于提升汽车自动驾驶能力的价值。Yole对于神经形态计算市场的预测是,五年内达到6900万美元市场规模,2029年50亿美元;其中神经形态感知市场2029年达到20亿美元——虽然可能不只是基于事件的视觉传感器,不过这个预测量级还是远大于IDTechEx的。
这2-3年可能将是考验Prophesee、iniVation这些公司发展的关键,也是基于事件的视觉感知技术最终能否成为主流的关键。所以我们也不难看到Prophesee这类企业在中国国内开展更多的市场活动。基于事件的摄像头这两年会不会出现在消费电子产品之上,可能也是这个市场是否会如统计机构预测的那般做大的关键,我们也将持续做这方面的观察。
相关文章