这个标题的前提实际上是不正确的,因为早在2016年年初,索尼就已经与飞思(Phase One)联手推出了1亿像素中画幅相机XF100MP,其中1亿像素CIS(CMOS图像传感器)就是索尼生产的。不过这种中画幅高端货和我们要探讨的1亿像素摄像头的手机不在一个水平线上,毕竟XF100MF售价超过30万元人民币。
另外就CIS这个市场本身,可探究的领域并不限于手机摄像头与民用数码相机,工业、汽车甚至科研领域都有不同定位的CIS产品。由于各领域市场的差异,CIS的发展技术路线也各不相同。本文我们只探讨应用于手机及消费级移动设备的高像素CIS。
在索尼与三星的4800万像素CIS大战之后,频繁在高像素上出招的似乎主要就是三星了。从去年下半年至今,三星在手机市场上,奔着亿级像素一去不复返。既然高通主SoC上已经有了支持到2亿像素的ISP(骁龙865),这像素战似乎还没有要停止的意思。今年1月份有传言称,小米可能要推2.56亿像素的手机[1]。
但在如今1亿像素摄像头手机正热的时代,却未见索尼这位CIS界顶流的身影,这好像在市场宣传上让华为在小米面前低了一头。荣耀产品副总裁熊军民去年11月还专门发微博表示“像素不是越高越好,镜头不是越多越好”,以及荣耀会有不同的“前进方向”。似乎每隔一阵,总有声音呼吁不要盲目追求高像素,这种声音在千万像素时代就已经有了。
我们在去年的文章中就已经肯定过1亿像素存在的合理性[2],有关高像素摄像头的更多技术探讨我们还将在未来的文章中表达:尤其是三星目前正着力的0.7μm像素节点。基于这样的讨论,索尼没有在手机市场参与到亿级像素的竞争,是因为技术不济吗?
三星在技术上仍有明显短板?
在正式探讨索尼的思路之前,我们先尝试谈一谈去年1亿像素探讨文章中,提到三星在模拟读出技术上不足的问题。实际早在4800万像素时代,三星在这部分的技术储备上就不及索尼,所以三星最早的4800万像素CIS(S5KGM1)并不支持全像素输出,导致三星一度被卷入“真假4800万像素”的争议里。
我们早前的文章也提到了这次争端,其本质在于:三星S5KGM1在像素层面是实打实的4800万像素,只不过在输出阶段掉了链子。这个例子是很能体现三星彼时在技术层面的一个重要软肋的。
而且在小米CC9 Pro最早应用三星S5KHMX一亿像素CIS之际,这颗CIS也仍然尚未做到片上remosaic。所以即便S5KHMX已经做到了一亿像素输出,remosaic过程却需要由高通骁龙SoC的ISP去完成。表现在用户层面,就是拍照体验受到影响,拍摄后的等待时间比较久。
索尼在最新的技术宣传页上,似乎也针对这个问题有了部分的宣传[3]。除了“高速拍摄”、“同时进行4个模拟信号像素的ADC”,还专门提到了列并行(Column-parallel)ADC(模拟数字转换)电路,实现并行的信号处理。在横向阵列,增加大量这样的电路得以实现CIS的“高速”化输出。另外索尼在宣传中还提到了这种电路能够进行自动的降噪。这项技术应该是索尼CIS高速输出的原因之一。
三星未有这方面的介绍,不过全像素输出速度的问题,三星似乎已经基本解决——至少不会再出现不能全像素输出的尴尬,即便或许在输出帧率上仍有加强空间(好像三星从来不在公布的规格文档里标全像素的输出帧率和色深);而且在应用于Galaxy S20 Ultra的一亿像素S5KHM1之上,三星也终于为其加入了片上remosaic。从实际应用的体验角度来看,我们似乎很难再说三星在这方面是落后的。
另外,三星这两年也的确有在像素技术上做各种调整,比较知名的是ISOCELL增加像素隔断(DTI),这一点我们在先前的技术介绍中已经提到过,虽然这也并不是三星独有的,但在实现方式上与竞争对手还是有很大区别。后来三星对这种DTI结构做了升级,名为ISOCELL Plus,主要是将色彩filter间的金属隔断换成了一种来自富士(Fujifilm)的新型材料,避免原有金属材料吸收或者反射进光的问题。
这种技术本身旨在加强像素的感光性能,用于缓解小像素进光不足的问题。从这种结构和材料改进也不难发现,做高像素并没有想象得那么暴力和简单。
如果抛开像素不谈,索尼CIS另一个相对重要的领先还体现在堆叠结构的Cu-Cu连接上,即像素chip与逻辑电路chip的直连;台积电也已经在用这种方案。从TechInsights今年针对Galaxy S20 Ultra的拆解来看,在应用最新0.7μm像素技术的GH1图像传感器上(Galaxy 20 Ultra的前置摄像头),三星还在用TSV(硅通孔)方案[4]。而Cu-Cu互联能够提供更大的灵活性,让CIS整体尺寸做的更小,在更高密度以及pin layout的自由度方面做的更好,也便于实现功能扩展。
当然,就现有资料来看,我们的探讨还是比较具有局限性,比如从像素层面来看究竟谁更先进这样的问题。但至少我们认为,若抛开像素数量与密度不谈,则三星也正在CIS技术上做努力,即便尚有很大的优化余地。那么在三星追求像素更小型化、像素密度增加时,索尼又在做什么呢?
“追求”方向的不同
虽然我们对于高像素的发展有信心,但从整个摄像头到成像系统的角度来看,由于CIS只是影响手机拍照的一部分,算法、光学系统也十分重要,所以1亿像素CIS最终在拍照上的收益可能并不像1亿这个数字那样表达得那么惊人。
这也是很多人否定1亿像素CIS的部分原因,即从手机的具体表现来看,或许它并没有宣传得那么令人满意。但我们仍然坚信,1亿像素是小底成像设备提升画质的一个十分重要的解决方案。只不过在提升像素的过程中,是否仍有一些昔日的遗留问题该花时间解决一下?
这就要提到在三星宣传1亿像素的这些时间里,索尼究竟在做些什么?从ISSCC 2020(国际固态电路峰会)图像传感器部分的技术分享来看,这届ISSCC十分重在ToF成像[5]。索尼的成果汇报似乎更加丰富一些。索尼在会上提供的议题主要有三个:
- A 132dB Single-Exposure-Dynamic-Range CMOS Image Sensor with High Temperature Tolerance
- A 0.50erms Noise 1.45μm-Pitch CMOS Image Sensor with Reference-Shared In-Pixel Differential Amplifier at 8.3Mpixel 35fps
- A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensors with 4.86μm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline
这些CIS相关的技术似乎暂时和手机摄像头的相关性并不算大,不过还是可以表现索尼在CIS技术发展上的多样性,仍值得稍作研究。这其中最引人注目的应该是最后一个,索尼与Prophesee联合发布的一种基于事件(event-based)的传感器,美国版EE Times特别针对这项技术做了采访和报道[6]。
这种新型传感器做到“行业最小的像素尺寸与最高的动态范围性能”,这里的“行业”应该还是有限定的,即在事件驱动视觉系统(event-driven vision technology)中,毕竟4.86μm的尺寸在移动CIS看来已经是巨型了。
这种event-based的图像传感器像素尺寸缩减,是基于索尼拿手的堆栈式结构
这种传感器定位在工业设备、自动驾驶汽车,其本质在于在图像传感器中集成AI,用Yole Développement首席分析师Pierre Cambou的话来说这种传感器能够快速加强图像,或者“直接提供基于事件的感知”能力,“每个像素就是一个神经元”。在Cambou看来,索尼认为图像传感器不应该只是相关于成像,也应当相关于感知。
不过这不是我们要聊的重点,毕竟至少就现在看来,它和手机摄像头的关系还没有那么大。在移动技术领域,索尼近期在其技术介绍页面增加了一个名为“2x2 On-Chip Lens Solution”(OCL,2x2片上微透镜解决方案)的解决方案[7],这项技术在我们看来是对高像素发展中的一次十分典型的“查漏补缺”。
这项技术的原理也很简单。在传统的CIS中,每个像素之上都会有个微透镜(micro-lens)。到了4800万像素时代,像素越来越小,这直接影响到了像素的感光能力。所以CIS制造商开始改造传统的Bayer像素排列方式,采用Quad Bayer(或者Tetracell)这类像素排列。这个时候,每个像素依然都有自己独立的微透镜。
手机CIS的三种相位对焦方案,来源:TechInsights
实际情况可能要更复杂一些,TechInsights更早的分析显示,索尼和三星前两年开始用2x1 OCL的方案(最早是安森美在用的一种方案,三星在宣传上好像将其称作super-PD),就是一个微透镜横跨覆盖两个像素(如上图最后一行),这么做是为了借像素做相位检测,实现相位对焦;而三星在不同的0.8μm图像传感器上,实则还用到了更早的一种名为masked相位对焦的方案(另外还有一种Dual PD相位检测方案)。[8]
这些方案中CIS仅有一部分像素用作相位对焦(PDAF),某些方案的部分像素甚至不参与成像。一方面这类方案的相位检测实际上并不能覆盖整个CIS——这对拍照时的对焦体验会有影响;另一方面就是对画质也会产生影响。
索尼宣传中的这种2x2 OCL方案,说白了就是一个微透镜跨4个同色像素。这样一来,整个CIS的所有像素都可进行相位对焦,那么对焦精度就会更高。从索尼官方提供的对焦效率对比来看,2x2 OCL方案实施后,暗光场景下的对焦会明显更快速和干脆,如下图所示。(怎么看都像是索尼相机领域技术的下放)
传统技术
2x2 OCL
这项技术在实施上,有个小trick我们认为尤其值得一提:每四个像素覆盖一个微透镜,也就意味着在相位检测时,在垂直方向和水平方向都可以做相位检测,甚至还能斜向检测,实现全CIS覆盖的“十字对焦”或者“米字对焦”。
而前面提到的常规方案,用相机领域的话来说仅是“一字对焦”。这类方案也就导致了,在拍摄水平方向没有太多纹理变化的对象时,对焦会比较低效(如下图)。所以2x2 OCL也就成为提升对焦效率一个非常有效的方案。
传统左右相位检测与双向相位检测对焦时的差别
在IEDM 2019(国际电子器件大会)上,索尼有个题为“A 1/2inch 48M All PDAF CMOS Image Sensor Using 0.8µm Quad Bayer Coding 2×2OCL with 1.0lux Minimum AF Illuminance Level” 的议题[9],本质上就是谈这种2x2 OCL方案。索尼在paper中提到,这种方案是结合了Quad Bayer像素阵列高分辨率和高动态范围的优势,以及双光电二极管(dual photodiode)相位对焦检测更高效,这两者的优势。而最小自动对焦亮度等级可以下探到1lux(传统方案是10lux)。
此外,更大的微透镜能够提升Quantum Efficiency(量子效率,提升约7%),不过它可能进一步导致像素间串扰的问题,所以就需要更多的缓解方案来解决问题。比如说加强DTI(深槽隔离),以及令微透镜、filter和像素阱的位置发生相对的偏移,这些也是索尼paper中提及的重点。
“在这篇paper中,全球首个采用2x2 OCL结构的图像传感器为1/2英寸,4800万像素,0.8μm,QBC(Quad Bayer coding)。”
索尼IMX689已经在应用这种方案,只不过它并没有盲目追求高像素,就现有技术准备来看也仍然是为Quad Bayer的4800万像素准备的,算是对4800万像素的进一步完善。这种方案的出现也足见在现有技术节点下,提升拍摄体验和画质仍有空间,像素的增加仍然可以先等一等。
如果索尼未来采用这种技术做演进方向,则在pixel-binning方面不会出现类似三星那样像素9合1的方案(Nonacell)。所以传言华为P40要采用5200万像素的IMX700,在像素阵列上会采用16合1的方案。目前尚不清楚这种pixel-binning在CIS的彩色滤镜阵列上会怎样排布,不过16个像素为一个阵列,在继承2x2 OCL时显然是更平滑的方案。
针对IMX689这颗CIS还有个题外话,这里稍作解释:OPPO Find X2手机在采用这块CIS时提到双原生ISO(dual native ISO)。这种方案在相机领域不算稀奇,但似乎在手机领域还比较罕有。IMX689所谓双原生ISO的实现方式目前暂时未知,我们可参照松下VariCam的方案,如上图[10]。
ISO就是感光度。一般来说,成像过程光信号转为电信号以后,需要进行一次模拟放大。日常我们拍照时调整ISO,就是在调整电压信号的放大增益。一颗CIS的原生ISO可以理解为在电信号放大为最低值的ISO(模拟电压增益倍数最小)。在原生ISO时,可以达到最佳画质。为了让低照度下的成像质量更好,双原生ISO有时是增加一套模拟放大电路,也就是松下的方案。根据不同的拍摄环境,切换两种不同的原生ISO,在高ISO时依然有不错的画质。
不过我们并不清楚索尼IMX689是否也是这样做的,因为索尼还拥有一种ISO双增益方案,可以调整满阱容量的方式来实现某个ISO以后的后端噪声降低。但我们认为,这种技术对于手机来说,价值可能并不算太大,因为手机摄像头这样的小底设备,成像时的主要噪声来源还是前端产生的散粒噪声(shot noise),对后端噪声的抑制产生的收益大概会比较小。
高像素重要吗?
通过上面这些内容的探讨,不难发现CIS除了像素堆砌之外,仍有不少值得挖掘的技术创新,可对最终成像做出更多的优化。这些都是在发展手机高像素摄像头时值得借鉴的思路。虽然更高的像素的确能够带来更高的采样率,以及具体到锐度、动态范围等参数上更出彩的表现。但在通往高像素的路上,如果能持续做更多结构、设计上的改进,对于提升拍摄体验、榨取像素“剩余价值”,都是多有裨益的。
基于这种像素的再打磨,更值得观察的,应该是华为今年要发布的P40是否能够用上这种2x2 OLC方案,以及如果像素数量并没有1亿个那么好听,那么其亮点还会体现在哪些地方。这是相当值得期待的。
最后值得一提的是,由于多摄在市场上的应用越来越广泛,这致使手机摄像头的综合成像能力,对某一个CIS的硬件素质依赖越来越不强。高像素在整个系统中的地位或许并不见得有多重要。DxOMark的Mobile类评分也越来越倾向于考察整个系统,而非某一个CIS的素质,比如变焦、模拟焦外、广角,这些都需要多摄的参与。
这对手机OEM厂商便可能提出更高的要求,主摄的高像素CIS只是其中的一个环节。这大概就是荣耀总裁提出的“不同的前进方向”。只不过我们依然不该否定1亿甚至更高像素存在的合理性,并且乐见其产出的收益是积极有效的。更高的像素也是推动移动CIS设计与制造持续发展的某种路径,在我们看来它仍然很重要,只是不要太过急于求成。
参考来源:
[1]
[2] - EE Times China
[3]I - SONY
[4]
[5]
[6] - EE Times
[7] - SONY
[8] - TechInsights
[9] - Image Sensors World
[10]- Create in motion
原文发布于Aspencore旗下ESM姐妹网站EETC 责任编辑:Elaine
相关文章