智能驾驶如今渐渐成为汽车的一个常见功能,它增强了汽车和驾驶员的感知能力,降低了驾驶员的工作强度,同时可以有效提高行车的安全性。这其中,基于CMOS 图像传感器的摄像头是智能驾驶系统感知外界环境的主要工具之一。
CMOS图像传感器是成像sensor,它本质上是一个存储器和模数转换(ADC)的组合。基于硅的光电效应,入射光线会在传感器像素的感光二极管中激发电荷,电荷被收集存储,经过ADC转换为数字输出。
Figure 1光电效应
从架构上看,CMOS图像传感器类似于一个存储器memory,它有大量存储单元,支持行和列的寻址操作,区别在于存储器是电路写入内容,而sensor中的内容是可见光或近红外光线写入的。
传感器收集到的电荷包括两部分:一部分是我们期望的电荷,来源于环境光线所激发的有效信号;另一部分是用户不希望的干扰产生的电荷,干扰来源有很多种,一般统称为噪声。
我们希望图像中的有效信息越多越好,干扰噪声越少越好。一个常见的衡量图像噪声效果的指标是信噪比SNR,即信号与噪声的比值。信噪比越大,图像噪声相对含量越少,图像质量越好。SNR的单位可以是比值,也可以转成对数单位dB。
CMOS sensor的数据手册一般都会提供信噪比参数SNR,如下所示。
有一个常见的问题:46dB信噪比的sensor是不是比43dB的sensor低照效果更好?
答案是未必,脱离条件的结论往往会掉到坑里。
SNR不是一个点,它是光照条件的函数,如图2,SNR会随着光照强度变化变成一条曲线。当它作为低照效果指标时,要求选取低照条件下的SNR值。而业内sensor数据手册上的SNR参数通常是SNR最大值,对应于光照环境非常明亮时的SNR值,即图中蓝色SNR曲线右上角的SNR Max点。而蓝线位于左下角区域的SNR值才适合作为评估低照的参数,此时的光照不足,对应于低照环境。这就像卖苹果,放在上面一层是最好的,你需要翻开篮子,看看里面苹果的质量如何。
Figure 2信噪比SNR曲线
依据最大SNR点来评判sensor有以偏概全的问题。根据需要,用户可以选取特定曝光条件Exposure对应的SNR大小来评判低照噪声,SNR越大越好;也可以限定SNR为某个固定值,例如SNR=5时,用此时需要的曝光条件Exposure值大小来评判低照噪声,Exposure值越小意味着达到同等SNR时需要的光照资源越少,sensor的低照性能越好。
图2显示的是普通sensor的SNR,是单调递增的曲线。汽车上使用的CMOS sensor,为了匹配全天候应用场景,需要很高的动态范围HDR,HDR常用方法是改变sensor的灵敏度,对环境的不同亮度分别采样,再把多次采样的图像帧映射到标准化的线性数据空间,最后从不同灵敏度帧中选取合适像素,拼成一张完整的图像帧,参见《车用图像传感器参数小议——动态范围》。
sensor的灵敏度变化,对应于坐标系中的SNR线移动到不同的位置,最终HDR图像的SNR曲线演变成多条SNR曲线的拟合结果,例如图3的蓝线,它不再是一条单调递增曲线,除了低照SNR会很小以外,高亮区间还会出现多个局部极小值,当工作点落在SNR跌落区间时,即便此时环境很亮,噪声也会恶化。
这在图像上会出现一个违背人眼感知习惯的现象,即随着亮度增强,图像的质量会从差到好,然后又突然恶化的情况。因此与传统线性sensor不同,车用宽动态sensor的信噪比还需要评估高亮条件下的极小值指标。
Figure 3 HDR图像的SNR
Figure 4 SNR和噪声
车用sensor的SNR是一条非单调的曲线,汽车应用环境会让问题变得更复杂。sensor是一个模拟器件,在ADC之前,信号和噪声数据是以电荷的形式存储的,sensor的暗电流也会累积电荷,其产生速度大致上与曝光时长成正比,与温度呈指数关系。所以我们还必须考虑温度,曝光时长以及模拟增益对暗态噪声的影响。SNR同时是温度,曝光时间和模拟增益的函数,它的曲线已经变成多维的曲线簇了。
以温度影响为例,图5是SNR=10时需要的Exposure值随sensor内部温度升高的变化趋势,我们可以看到,不同sensor对温漂的敏感度是不一样的,这两个sensor的SNR曝光值在60°C时发生交叉,意味着在室温25℃和高温80℃分别评估时,得出的SNR结论截然相反。
Figure 5 晶圆内部温度影响
按照车用摄像头有效使用生命周期的温度分布,超过88%的生命周期内,sensor内部的节温超过40℃,超过80%时间内节温超过60℃,超过65%时间内节温超过80℃。
温漂影响会导致SNR曲线发生进一步变化。如图6红色虚线示意,当温度升高后,SNR曲线在低照区域和高亮局部区域会继续下跌。
Figure 6 温度对HDR SNR影响
目前业内对车用图像传感器SNR的评估,常采用欧洲机器视觉协会的EMVA1288标准来测试。EMVA1288标准中的信噪比SNR,是基于传统单调的线性sensor模型来定义的,对于车用宽动态图像传感器 SNR特性的描述并不完善。电气与电子工程师协会IEEE正在为汽车影像定义新的质量测试标准P2020,作为工作组成员之一,安森美公司承担了IEEE P2020标准中图像噪声标准的起草工作,其中就包括了SNR参数。
最后总结一下,车用CMOS图像传感器的信噪比SNR是一个关键的图像质量指标,它具有非单调特性,受到汽车应用环境的多因素影响,对SNR的评估是一个多维的综合评判工作,客观全面的SNR评价才能真实描述sensor的性能,正确指导车用成像产品的开发工作。