在全球新冠疫情爆发期间,无接触式送货受到各国的关注。比如,武汉疫情期间,京东送货小车为医务人员输送药品;美国疫情高发期,硅谷方舱医院采用无人驾驶小车运送货物。值得注意的是,中美两国的“抗疫”送货小车,均采用了来自安森美半的智能感知方案。
近日,安森美半导体智能感知部全球市场和应用工程副总裁易继辉(Sammy Yi)向《国际电子商情》介绍了,在过去一年里,安森美的超声波、成像、毫米波雷达、激光雷达(LiDAR)及传感器融合等智能感知技术,在汽车、机器视觉、边缘人工智能(Edge AI)等领域的新动态,以及安森美最新的智能感知发展策略。
安森美智能感知部
在过去一年里,安森美取得了一些新的成绩:年度总营收达到55亿美金;正式进入财富美国500强榜单;连续五年获得“世界球最道德企业”称号;进入全球半导体行业集成器件制造商榜单前TOP15(排名13);维持功率半导体(分立和模块)行业第二的地位。
这些业绩主要在安森美的三个核心业务部门——电源方案部(PSG)、先进方案部(ASG)、智能感知部(ISG)的基础上来实现。在这些业务部中,智能感知部虽然是最新的部门,但其成长速度是最快的。
·通过并购完善智能感知部
尽管安森美的智能感知部只有六年历史,但是安森美在成像传感器行业有超过40年的历史。易继辉介绍说,安森美2014年成立的智能感知部,是在几次战略性的兼并、并购基础上形成。比如,2014年5月,安森美完成对TRUESENSE的收购,后者的前身是柯达影像,柯达影像的核心技术来源于贝尔实验室CCD影像;同年8月,安森美宣布收购完成Aptina,Aptina的前身是美国航天宇航局JPL喷气式推动器实验室。1993年,JPL为了阿波罗登月开发出全球首款CMOS图像传感器。
安森美也创造了许多行业第一:比如,Bayer Pattern(拜耳阵列),即RGB红蓝绿模式,该项技术由一位姓Bayer的老员工研发;1993年开发出行业最早一款CMOS图像传感器;2005年开发出全球首款车规级CMOS图像传感器。截至今日,安森美已经为汽车市场提供超过5亿只图像传感器。
在过去三年里,安森美还陆续收购了IBM在以色列的毫米波雷达研发中心,以及专注于飞行时间(ToF)激光雷达传感器开发的爱尔兰SensL公司。到现在,安森美在图像传感器上已经拥有行业内最多的成像专利、庞大的传感器产品阵容以及强有力的供应链,当前每周芯片产品的总销量超过10亿件。
·如何处理新旧业务之间的关系?
通过多次收购,安森美不断完善了感知方面的产品线。它又是如何处理新并入业务和旧有业务之间的关系?
易继辉对《国际电子商情》记者表示,安森美并购后成功案例的比例非常高。一般在半导体行业,并购成功的比例约为20%-30%,而安森美并购成功的比例达80%-90%。这主要是因为安森美的完整系统和团队,在并购前通过synergy(协同增效)前期分析两个公司的互补性,并购以后由专门的团队跟踪,把设计系统、质量管理系统、生产管理系统并入到安森美半导体的构架中。此外,安森美也会视情况跟踪新并购的公司,从高层、中层到底层员工都有全面的融入的具体措施和行动,被并购公司的主管一般会在董事会留任半年到一年。再加上公司的文化因素,并购完成后大家朝着一个方向发力。因此,并购成功比例是安森美战略上的竞争优势。
·智能感知部的三大市场方向
具体来看,安森美智能感知部门主攻三个市场方向,即汽车、机器视觉和边缘人工智能。近几年,汽车的电力化、智能化趋势,使该行业焕发出新的动力。由于汽车采用新技术的速度非常快,导致汽车智能感知方面的成长速度,比汽车本身的成长速度更快;在工业4.0时代,自动化、人工智能的导入,使机器视觉行业有了新的动力,其成长速度非常快;边缘人工智能是由人工智能、5G、IoT等新技术导入后开发的新应用,这是非常有潜力的市场。
“在感知方面,我们做了非常多的投入,包括图像感知、多光谱、高光谱感知,激光雷达感知、毫米波雷达感知、传感器融合等深度感知。这些都在推动AI和第四次工业革命的进步。”易继辉说。
汽车感知和汽车成像
据日本第三方市场调研公司TSR(Techno Systems Research)的报告显示,安森美在全球汽车成像(专门给人眼看的)市场如驾驶员、乘客、后视、环视、电子后视镜,占据了超过60%的市场份额;在汽车感知(即人工智能和机器视觉用的感知系统)市场,安森美占全球>80%的市场份额。对此,易继辉称,安森美实际的数据比第三方数据更高,该公司去年销售了近一亿颗车载传感器。[!--empirenews.page--]
不同于一些Tier 1厂商把成像、传感器、摄像头或雷达都归入感知,安森美更倾向于把成像和感知分开来对待。易继辉说,成像的应用主要是将显示屏上的效果给驾驶员看。比如,电子后视镜无需转头就能看到,此类给驾驶员看的技术叫Viewing即成像。而感知主要用于前视,传输信息给人工智能算法,通过运算在GPU上做判断和指令。在应用上,成像属于人工视觉,感知属于机器视觉。
·汽车感知的挑战
在易继辉看来,未来汽车是架在四个轮子上,具有强有力感知能力的计算机。现在汽车感知系统已经超过人类的感知能力,前者能不间断地监控周围环境,人类驾驶员会有注意力不集中的时候。随着感知系统越来越丰富、全面、强大,自动驾驶汽车将比人类驾驶更安全。
自动驾驶汽车的可靠性、安全性,主要体现在以下几个方面:
首先,自动驾驶汽车将趋向共享化的模式。未来的汽车大多数时间都处于行驶状态,每天只有一两个小时来充电、维修。共享化趋势在近年来开始显现,安森美已经朝着这个方向发力,致力于加倍提高产品的可靠性能。
其次,自动驾驶汽车已经不仅要求是“可靠的汽车”,而且还要求是“可信的汽车”。乘客要信任自动驾驶汽车在紧急情况下能自我判断、决策和行动。
再次,网络安全越来越重要。随着车联网、智能网联汽车更加普遍,黑客侵入感知系统将非常危险。为此,欧洲已经着手将网络安全标准,上升至政府和行业标准。
·汽车成像的挑战
汽车成像的挑战主要集中在三个方面:
一是宽动态。道路的方向是固定的,行车时可能要逆着太阳前进,这要求摄像头具备宽动态,能很好地适应从暗到亮的环境。当汽车从车库、隧道出来时,摄像头能够清晰显示暗处或亮处的物体。
二是环境条件。汽车可能会在寒冷的东北地区、高温的沙漠地区、高湿度的南方地区行驶,要求汽车成像系统在恶劣环境中能正常工作。
三是针对图像传感器的挑战:辨别LED指示牌、交通灯。许多国家的公路已经采用电子管控牌,它们使用LED背光源,因闪烁频率不同步,图像传感器有时会捕捉不到信号,这对机器视觉来说,有较大的挑战。过去的方案都是在软件里来解决这个问题,现在的方案可在硬件中解决。
自动驾驶汽车成像有外部感知、内部感知、增强视觉等多样化特征。其中,外部感知非常复杂,包括远近、大小车辆、自行车;行人,大人、小孩、老人;路标、车线,斑马线,交通灯……外部感知要求能全天候实现。内部感知主要从对驾驶员的疲劳监控,逐渐地扩大到对驾驶员有无分散精力以及是否系好安全带等行为的监控,进一步扩大到对乘客的感知。视觉增强则主要是为驾驶员和乘客提供更好的视觉感知,比如电子后视镜,保证驾驶员的驾驶更安全。
先进的图像传感器技术
上面是一个图像传感器示意图,其内部结构由半导体制成。有人认为GPU和CPU是半导体行业中最具挑战性的技术,实际上与传感器相比只是小巫见大巫。易继辉解释说:“GPU和CPU主要对付电子(Electron),图像传感器既要对付电子又要对付光子,光子和电子的结合使其成为非常复杂的半导体。除此之外,未来图像传感器内部还会叠加更多芯片,还会集成AI等更智能化的功能。所以,图像传感器需要非常长时间的技术积累和投入。”
他进一步补充说:“光子进来以后,转换成电核,变成电信号。相当于下雨时拿着水桶接雨,水桶越大接雨水也越多。同样,容积越大,光子转化成电子的电容、电荷量也就越多。安森美有一个新的技术,被应用在高端、专业的摄影机中。就好比在传统小像素旁边,开一个大的‘蓄水池’,多余的电荷流到‘蓄水池’中,提高整个光强量、信息量,增加动态范围。李安拍摄《少年派的奇幻漂流》时的ARRI公司的摄影机,就采用了安森美的图像传感器。目前,安森美已经逐步将该技术导入汽车领域,未来也会导入到工业机器视觉和其他领域。”
安森美的Hayabusa系列产品就采用了上述技术,其一次曝光就能实现95dB,多次曝光之后可达到120dB。下一代产品的一次曝光有望达到110dB,多次曝光将达到140dB,这是行业领先的一个指标。
为什么宽动态非常重要?上图左边是宽动态欠佳的情况,暗的部分清楚,但亮的部分无法辨别。若宽动态好,不光暗的地方显示得非常清楚,亮部的红绿灯、前方车辆等信息都能看得很清楚。这就能给人工智能、算法提供精准的信息,在这个基础上做出准确的判断。所以,宽动态对成像来说非常重要。
[!--empirenews.page--]
另外,车灯场景下的宽动态范围是102dB。在这种场景下,宽动态范围为70dB的传感器,有很多细节无法看出来,假设车旁边有一个行人,机器视觉可能无法侦探到行人。在同样的场景下,安森美的110dB传感器能提供更详细的信息。
在几乎没有灯的夜视场景中,安森美新一代产品提供的近红外+(NIR+)工艺的近红外光电转换效应提高了4倍。上图的前半部分是没有NIR+的情况,后半部分是有NIR+的情况。经过对比可知,有NIR+的场景更清晰。
·全面的汽车智能感知阵容
据了解,安森美的产品覆盖面非常广泛,在视觉、自动驾驶、车舱内智能驾舱,边缘计算,毫米波雷达,激光雷达等应用中都有完整的系列产品;不光提供单一的产品,安森美还提供其他器件,包括二极管、LDO、电源管理IC。
基于以上特征,安森美的优势是在设计新的下一代图像处理器时,可以和其他产品部门合作,来探讨怎样开发相应的电子产品、器件,使摄像头能够达到最优化。由于这些优势,安森美深受用户的喜爱。
安森美是业内首个搭建起生态系合作伙伴系统的公司。目前,安森美的汽车生态合作伙伴已经超过50家,涉及业务包括光学镜片、信号处理器,I/O、Interface接口、SoC处理器、软件系统等。经过与这些合作伙伴的密切合作,安森美可为汽车用户提供完整的端到端的图像方案。
自动驾驶汽车从to B模式切入
中国的自动驾驶汽车分级,也主要遵循SAE的标准,从L0到L5级别越高,自动化程度就越大。从L1到L5,传感器数量及种类都在增加。其中,L3到L4是最重要的分界点。L3在一些极限场景下,需要驾驶员自己来操控;L4理论上无需驾驶员操控,完全是由机器来操作。L4需要激光雷达,很多L3方案中没有激光雷达。
因为在极限场景下,L3还需要靠驾驶员来操控,所以它在自动程度的设计和感知数量、种类的应用方面要考虑成本问题。其人工智能算法、计算平台,都是为了有局限性的自动驾驶,而不是所有场景。L4不需要考虑到驾驶员,其场景要求要用到激光雷达和高清地图。总之,L3和L4是两个不一样的平台。
目前,国内的新车以L2、L3为主流,一些整车厂的高端品牌车已经具备L2、L3的功能。国外的L2、L3即先进驾驶辅助系统(ADAS),由法规和安全标准驱动,比如欧洲在七、八年前就已经开始法规驱动。而国内暂时还未有明确的法规和安全标准,车厂主要创造自己的技术和品牌效应。
如今,L4、L5自动驾驶落地的商业模式已经基本清晰。此前,大家主要发力B2C的形式即私家车的模式。到现在,国外很多整车厂的L4私家车项目已经暂缓或停止,L4、L5自动驾驶汽车主要走B2B的模式,从商业车来切入。因智能感知系统当前的成本还非常高,只有商业车才能承受得住这样的成本。
商用车主要分为几类,一是自动驾驶的出租车(Robotaxi),该类模式在国内发展的速度非常快,至少有18个城市颁布了自动驾驶许可证,有近500辆全自动驾驶出租车在路上跑;二是物流机器人,新冠疫情爆发后,物流机器人在小区、校园、工业园区、医院、机场的应用更加普及;三是自动驾驶大型商用车,在美国、欧洲、中国这类应用都已经上路或试运营。
在汽车领域,安森美有超过十多年的技术投入,可提供完整的图像传感器方案。经过时间的验证,安森美的图像传感器方案在功能安全、网络安全方面已经领先。同时该公司还在技术、产品质量、功能安全和网络安全方面不断耕耘。
其他:工业机器视觉、边缘人工智能应用
Yole Development数据显示,安森美在工业机器视觉领域的市场份额为全球第一。工业4.0、工业自动化、人工智能,促使机器视觉市场快速发展。同时,边缘人工智能领域,每年都会出现新应用,比如新零售,智慧农业等。新兴设备也有了新趋势:一是远程化。远程教学、远程医疗会越来越普遍;二是无人化,无人送货车、无人商店也增多。三是COVID-19的检测,安森美正与合作伙伴联合开发COVID-19病毒检测设备。
·平板检测应用
平板检测是工业机器视觉对图像传感器最有挑战性的应用,其像素从1K、2K、4K到8K在逐渐扩大。平板检测的过程分两步:第一步是上电前的暗检测,主要检测一些指纹、划痕和其他物理问题;第二步是上电后的检测,主要针对OLED、AMOLED(Active Matrix OLED)的检测。OLED、AMOLED的每个像素都是一个单独的发光源,出厂前要求检测像素发光的强度和色彩的均匀度,这对图像传感器有非常高的要求。[!--empirenews.page--]
同时,图像传感器也在不断地升级。以1.3英寸固定尺寸的图像传感器为例:一是其分辨率在逐年提升,其像素从过去的200万到现在的超过2000万;二是噪声导数即图像质量不断提高,相同尺寸下的图像传感器,随着像素的增大图像质量也不断提高;三是带宽逐年提高。十年前,29×29mm2标准工业用摄像头的像素是200万像素,后来增加到300万、500万、1200万,今年已经达到1600万。依靠技术的推动,安森美每一代产品的性能都在提高。
·PCB检测应用
在PCB检测中,分辨率和带宽非常重要。在工业制造里,劳动生产率是降低成本的重要因素,线路板检测的劳动生产率,是在固定单位时间内所能检测的线路板面积越大,劳动生产效率就会越高。对图像传感器而言,单位时间内收集信息量越大,其生产效率就越高。安森美PCB检测方案的像素为2100万,信息采集量比竞争对手能大了4倍。
最新的XGS系列图像传感器,具备从200万像素到4500万像素11款不同像素的产品。该系列最大的特点在于产品开发战略,客户只需要两块线路板设计,就能支撑11款传感器,较之11个线路板,节省了大量的成本和时间。该系列产品的性能,包括帧数、宽动态、暗电流都有极大地提升。
·4K传感器应用
上图是4K产品的宽动态效果图。在这个场景中,如果人眼直视该场景,其实完全不能看清细节,而这款图像传感器能够帮助我们看清细节。即使0.2cd/cm2光照量非常低和190,000cd/cm2光照量非常高,它们两处场景的细节都很清晰,这已经超过了人眼的能力。经过该传感器处理的图片,黑暗与明亮交界的地方轮廓非常清晰。这些特点将能为人工智能提供大量的可靠数据。此外,这款4K传感器还能用于户外夜景应用中。
3D成像、高光谱和多光谱成像也都是安森美未来的方向。现有的方案都是在系统上解决,比如3D就是双目,两个摄像头或者结构光来解决,高光谱、多光谱,是用多个镜头或者多个相机在系统里合成。安森美希望能够在半导体层面,用摩尔定律来解决这些问题。
具体怎么融入摩尔定律?易继辉解释说,需要把在软件系统或通过硬件系统解决的问题,转移到半导体制程中来解决。比如,针对3D,市场上有很多使用双目的方法,用软件把它合成3D效果,不过两个摄像头的成本非常高,而且Calibration校准非常严格。如果把摄像头集成到芯片层级,其成本、校准都会降低。这就是把产品、硬件、软件的问题放到摩尔定律半导体层面来解决。
·激光雷达应用
激光雷达的传统用的技术是APD,叫做雪崩光电二极管。它的缺点是体积大、功耗高、侦测距离范围有限、一致性不好。安森美针对激光雷达的技术叫做SiPM(硅光电倍增管),它的增益是APD的1万倍,灵敏度是APD的2000倍,工作电压要求非常低,只要30V,(APD要250V)。而且SiPM的一致性非常好,可支持大批量生产。
基于在激光雷达产品,安森美也能提供整体的、系统的方案。上图是激光雷达功能框架图,由激光发射源、激光素的发射,激光素的接收、激光的传感器、放大器、点云的形成,功率电源管理、激光驱动器等几大块组成。安森美的激光源、激光素发射、激光素接收的器件是与合作伙伴联合开发,其他电子线路和激光的接收器则则是自研出系统级方案。
在这样的情况下,安森美的激光产品有单点的,应用于医疗、工业、汽车领域,还有新的阵列产品(1×12或1×16),下一代激光雷达会用到这样的技术。SPAD面阵(400×100)是最新产品,它相当于一个图像,将来可实现有深度信息的图像。
·毫米波雷达应用
毫米波雷达适用L1、L2、L3、L4、L5级别的汽车,在不同自动驾驶的级别上有不同的应用。安森美的下一代毫米波雷达产品,主要是针对L3级的汽车。安森美把这个技术称为“MIMO+”,这是采用安森美专利新开发出来的技术,它能够提供4D的信息(R是距离,V是速度,A是角度,E是高度),适用于L3级别的自动驾驶汽车。
易继辉最后强调说:“MIMO+的实际通道、虚拟通道要比竞争对手同类产品多一倍。在同样性能的毫米波雷达中,我们可节省50%的mmIC器件、减少优化控制器、线路板,从而降低总体的成本。我们也会开发雷达信号处理,对外联接接口符合行业标准。”
相关文章