有种图像传感器存在感很弱,但十年内会吃掉9%的CIS市场

发布时间:2021-08-06  

图像或视觉传感器这两年一直都是热门领域,即便其应用场景支撑力之一的手机市场表现平平,还有华为被列入实体清单、新冠疫情爆发等干扰因素存在,这块市场近2年的总体发展仍然相当有看头。

不过当前我们关注的图像/视觉传感器主流,还是比较常见基于帧(frame-based)的图像传感器。EE Times美国和中国版此前刊发过不少文章谈基于事件(event-based)的视觉/图像传感器——从市场来看,这还是个新兴领域。不过基于事件的视觉技术,或者叫神经形态视觉技术(neuralmorphic vision technology),其实发展年份也不算短了。

1991年最初有人提出silicon retina(硅视网膜)模仿人眼神经结构之后,基于事件的视觉技术研究其实就逐渐变得多样。

可能大部分读者对基于事件的视觉感知技术还很陌生,不过这种技术现在是CVPR这类视觉技术峰会的常客。今年年中的CVPR上,大约有15篇paper都是在谈基于事件的视觉技术。

这个领域比较有代表性的公司如Prophesee、iniVation,这两家公司分别是在2014、2015年成立的,到如今也有6、7年的历史了。此前我们采访Prophesee CEO Luca Verre的时候,他也谈到基于事件的视觉技术发展并不是现在才开始的,只不过如今开始步入到了成熟期,对商用真正具备了价值。这两年Prophesee在国内的市场动作正变得频繁,这也可能是基于事件的视觉技术成熟的某种体现。

10年市场预期

有关基于事件的视觉技术本身,并不是本文要谈的重点,此前我们也花了不少篇幅来介绍这类技术。简单来说,基于事件的视觉/图像传感器,所有的像素是相互独立、异步的,每个像素仅在感知到外界有亮度上的变化(达到一定阈值)时,才会输出;应用这种技术商业企业的宣传普遍说,其等效帧率因此达到了10000fps。

本质上这类图像传感器的特点,就是仅在检测到外界的运动变化时才会记录信息,且不记录静态信息。其主要价值大致上有几个,其一是超低延迟,其二是不存在动态模糊,其三高动态范围,以及超低功耗。另外对后端而言还有些附加价值,比如说产生的数据量,比一般基于帧的技术少很多。

像这样的视觉/图像传感器,用来拍照肯定是不行了。但其特性决定了,它格外适用于高速避障、ADAS/AV,以及更多工业领域的视觉感知应用。就市场来看,这的确是个新兴应用领域。

一般我们要观察某一种技术是不是真的具备发展潜力,无非也就是看参与这项技术商用的企业发展情况,以及市场分析机构的预测和报告。

其实市场分析机构此前都没怎么提过基于事件的视觉技术,不过在今年7月,IDTechEx比较罕见地在图像传感器技术10年报告中,提到了基于事件的视觉技术——IDTechEx预计基于事件的视觉传感器芯片,未来10年会达成每年2000万美元的市场规模。他们将目前的市场称作“pre-revenue status”。

IDTechEx提市场发展动因,主要就是在谈基于事件的视觉感知技术的几个优势,包括仅检测场景的动态变化,后续数据处理更简单,数据传输和处理的量显著减少;高动态范围,也就意味着画面中的高亮度溢出情况显著减少,而且夜晚超低照度的场景也没问题等等;很高的时间分辨率——也就是所谓达到等效10000fps的帧率(如果按照基于帧的角度思考的话)。

基于事件的视觉感知技术虽然是没有“帧”的概念的,但因为后端传统算力平台的限制,系统仍然会有个“时间分辨率”,只不过这个时间分辨率会显著高于传统基于帧的方案(比如传统视觉/图像传感器60fps/120fps的时间分辨率)。

这家机构预测的市场应用也在于自动驾驶、ADAS、无人机的避障、导航。不过“这些市场仍然需要大量软件开发和数据收集工作,来完整地利用基于事件的视觉数据”;“因此IDTechEx相信,具备更具可预测性的输入数据的那些更小的市场,比如说AR/VR的虹膜追踪、激光扫描(profiling),会成为基于事件的视觉技术最早的应用。”

Prophesee今年也援引过一份Yole Developpement的市场预测数据。Prophesee公布的这份数据在量级上看起来会更激进一些,如上图所示。预计到2030年,在AI计算与感知市场,神经形态AI会占到8%,规模70亿美元——这应该不只是说的基于事件的视觉技术;2035年则会增长到18%。

而基于事件的视觉传感器,在整个CIS(CMOS图像传感器)市场上的份额,预计到2030年会达到9%——如上图所示。从其应用构成来看,似乎从2023年开始,“Mobile”就会成为其中的主力。其他应用还包括IoT、工业、监控、汽车。在“Mobile”手机市场的渗透预测,还是有些出乎我们意料的。

市场探索中成长

前两年,三星申请了Dynamic Vision Sensor商标,主要应用于移动和平板——动态视觉其实是基于事件的视觉感知技术的另一个名字。iniVation也将自家的技术称作动态视觉。iniVation预设比较早的市场应用是工业视觉应用——这和Prophesee的认识类似。我们以前在谈工业4.0的时候,经常提到工厂生产的预测性维护(predictive maintenance),还有高速生产检测等,动态视觉平台据说就能实现高速3D基础设施检测。

前不久Prophesee在谈自家传感器的应用时,其实也提到了工业领域,这类方案可感知震动频率、幅度,进行非接触性震动检测——比如对大型设备设施震动做长期观察;甚至弧焊引导——因为基于事件的视觉传感器动态范围很大,焊点太亮也没问题,依然可以引导焊头位置走向。

这些应用其实都是基于事件的视觉技术低延迟、高动态范围、高时间分辨率的体现。此前iniVation CEO Kynan Eng在接受EE Times美国版采访时曾提到,工业视觉是相对低风险,但市场规模不大的应用方向。iniVation前年和三星合作,开始向机器视觉行业销售完整的摄像头——从单纯出售芯片到更偏系统的发展。这是典型的市场参与者寻求价值扩大和探索。

iniVation认为,和三星这类CIS市场的巨头合作能够扩大其传感器产品在机器视觉领域的应用范围,将其扩展到更多的市场上,比如说食品、包装、消费电子、汽车等。

其实Prophesee此前和索尼合作,一起推出堆栈式(stacked)基于事件的视觉传感器,在市场上是更加广为人知的。Luca Verre告诉我们,Prophesee和索尼合作推出的已经是Prophesee推出的第四代视觉传感器产品了,主要是结合Prophesee基于事件的视觉感知技术,外加索尼的背照式+3D堆栈生产工艺,让基于事件的视觉传感器像素尺寸第一次做小到了4.86μm。这也算是基于事件的视觉,在技术上的探索了。

Prophesee的视觉传感器

不过Prophesee预期中,未来10年基于事件的视觉感知技术将会大规模应用在移动市场上,这一点其实有些令人困惑。因为这类传感器并不能直接用于拍照、摄影。Kynan Eng说要说服手持设备制造商,将这样的传感器放到手机里面去。“这对于高速变化的感知很有帮助,虽然可能很多人就只是想用手机自拍、拍摄食物而已。”

Luca Verre前不久在媒体沟通会上列举的应用实例,包括帮助“改善手机拍照的质量”。因为一般基于帧的图像传感器受制于曝光时间,画面中的高速运动对象会出现运动模糊。而基于事件的视觉感知技术有着很高的时间分辨率,前文就提到了它无惧动态模糊,所以将基于事件的摄像头与传统RGB摄像头配合,就能实现运动伪像的消除。

不过我们还没有亲身看到过这种应用,不了解其实际效果如何。因为两种技术的结合,在成熟应用上也需要完善的算法。许多应用虽然理论上行得通,但实际操作难度甚大。Luca Verre说Prophesee本身会提供这样的算法。不知道未来1-2年会不会看到这样的摄像头在手机上问世。

Speck摄像头模组

市场调研机构Yole分析师Pierre Cambou去年说,这类技术在“移动市场的窗口期会是2021或2022年。华为手机上有5颗摄像头,但却还没有看到always-on(总是开启状态)的神经形态摄像头。很多人常谈到多光谱技术,但我一直在想的是实时感知能力(always-on awareness)。”

早在2019年,aiCTX和iniVation共同发布了一款名为Speck的低功耗神经形态SoC,主要面向手机和IoT市场。整个芯片包含了视觉传感器+卷积神经网络处理器。其目标应用场景,就是以超低功耗达成always-on总是开启状态的响应。

不知道类似预防运动模糊,以及始终开启的视觉感知能力,未来在手机应用领域,会不会成为基于事件的视觉传感器的杀手锏。我们认为,始终开启的视觉感知能力在手机设备上可能会是个很重要的方向——它能实现大量玩法,比如手机息屏状态下超低功耗的环境感知能力。这两年可能就要见分晓。

2-3关键市场发展

在汽车领域,“因为我们的传感器始终开启,因为低延迟和不是基于帧的特性,能够只检测相关ROI,利用这样的信息来补充其他各种技术,比如激光雷达。”其实在汽车应用上,Prophesee此前列举的一个应用就是将基于事件的视觉感知,与激光3D Point Cloud扫描做配合,同时利用激光的精度与基于事件感知技术的速度,让后者的传感器去追踪激光,并对扫描到的内容做3D建模,来分析路况。

这种技术已经应用在一种名为VoxelFlow传感器技术上,是Terranet AB和奔驰一起开发的,其中的传感器就是来自Prophesee。Prophesee上次发布消息是有关新一轮融资的,获得C轮融资的资方背景包括小米、豪威等,还是能够一定程度表明市场的主流参与者有将目光投向这种技术。虽然对投资行为而言,广撒网一直是个常规。

Kynan Eng此前也提到了汽车应用,表达低功耗、低数据量对于提升汽车自动驾驶能力的价值。Yole对于神经形态计算市场的预测是,五年内达到6900万美元市场规模,2029年50亿美元;其中神经形态感知市场2029年达到20亿美元——虽然可能不只是基于事件的视觉传感器,不过这个预测量级还是远大于IDTechEx的。

这2-3年可能将是考验Prophesee、iniVation这些公司发展的关键,也是基于事件的视觉感知技术最终能否成为主流的关键。所以我们也不难看到Prophesee这类企业在中国国内开展更多的市场活动。基于事件的摄像头这两年会不会出现在消费电子产品之上,可能也是这个市场是否会如统计机构预测的那般做大的关键,我们也将持续做这方面的观察。

文章来源于:国际电子商情    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    和M.2接口,SATA接口位于底部卡扣位置,升级比较方便,而M.2接口则需要将整个后盖拆掉才能看到。 在三星300E5K的底部预留了SATA接口硬盘仓的挡板,只需要将螺丝拧出后就可以看到。比较......
    韩国最大行业的下滑尚未完全缓解。 自2022年疫情时期的繁荣导致需求崩溃以来,韩国半导体制造商在扩大产量方面一直持保守态度。这有助于遏制存储芯片的价格下跌,但该行业还需要一段时间才能看到全面的繁荣。 资料显示,韩国......
    在何种情况下,道路上的汽车必须知道此类弱势道路使用者的存在,而做到这一点的唯一方式就是允许车辆向另一辆车发出警告。 通用汽车没有深入探讨技术细节,但是解释称,车辆必须配备发射器和信号接收器,以便......
    恐怕永远也进入不了星系际空间。 尽管不是在同一个尺度上,但这种比较也足以让我们体会到自身的渺小。根据一般了解,我们的可观测宇宙中大约存在着2000亿的星系。这些星系分布在一个极大的空间范围内。 宇宙是一台时光机。我们看到......
    们仍能观察许多天文景观。 我们并不需要一路观测所有星球才能看到有趣的景物。太阳系除了我们身处的地球之外,还有7个行星(抱歉了冥王星)。有些行星太遥远或太靠近太阳,其他的行星则是夜空中最明亮的天文景物。有些......
    为内存使用的一部分硬盘空间。虚拟内存在硬盘上其实就是为一个硕大无比的文件,文件名是PageFile.Sys,通常状态下是看不到的。必须关闭资源管理器对系统文件的保护功能才能看到这个文件。虚拟内存有时候也被称为是“页面......
    型爆红,要到下半年才转化为订单。但由AI带来的订单现在仍集中在内存方面,我们暂未看到AI带来闪存需求的推动,究竟到何时才能在看到全部的存储需求? AI真正要对企业存储产生影响,必需要进入到边缘计算端,比如......
    在中央总控上,把所有的应用软件以新的形式写一遍代码,这些代码能出来的动态效果和将来升级的可能性将完全超越之前的车。因为软件集中化,才能让车辆可以实现迭代无忧,否则将有无穷无尽的软件测试等着我们。 ▲图6.软件的存在......
    。彗星的自转,及其不规则的外形导致它的部分结构被破坏。 在阳光照射下,彗星的温度会上升,进而产生气体和尘埃喷流。彗核的体积相对非常小,喷流的存在,会像引擎一样,使其发生翻滚。彗星的翻滚越快,其失......
    充满电的时间在 1.5 小时—— 2 小时之内,不算太长,因此苹果也没有花多少心思在快充技术上。  iPhone 手机电池短板待补,苹果何时改变态度? 不过,手机电池容量与充电时间历来是一个矛盾的存在......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>