用于整车架构的SDV概念是汽车行业的热门话题。但对于大多数OEM来说,SDV仍处于早期开发阶段。不过,“软件定义传感器”似乎在车厂中颇受欢迎。原因何在?
软件定义传感器的商业化进程远远领先于软件定义汽车(SDV)。这是因为OEM现在必须开发符合监管机构强制规定的自动紧急制动(AEB)规则的汽车,包括弱光下的行人AEB(PAEB)。
在美国,车厂必须通过最低性能标准测试,并满足美国国家公路交通安全管理局(NHTSA)的要求。
OEM正在“软件定义”传感器中寻找答案,主要是因为这可能使他们在不增加新传感器硬件(热成像仪或LiDAR等)的情况下通过AEB测试。
NXP、Ambarella和Indie Semiconductor是公开倡导软件定义传感器的汽车芯片供应商。
虽然这些供应商在如何处理软件定义传感器数据以及在何处处理这些数据方面略有分歧,但他们一致认为,结合摄像头和雷达可以非常经济的通过AEB测试,甚至是夜间PAEB测试。
正是NHTSA开辟了一条符合AEB标准的道路。
在其最终裁决中,该机构发表了如下评论:
NHTSA估计,系统主要通过升级软件即可达到本最终规则的要求,需要额外硬件的车辆数量有限。因此,与本规则相关的增量成本反映了软件升级的成本,软件升级将使当前系统实现符合本规则规定要求的先导车AEB和PAEB功能,以及在预计不具备所需硬件的5%的车辆上配备第二个传感器(雷达)的成本。
NHTSA援引“对6辆2023年款车辆(来自六家不同制造商)进行的PAEB研究,采用了建议的性能要求和测试程序“作为支持。结果表明,至少有一辆车能够满足本最终规则的所有性能要求”。
评论中未指明通过AEB要求的车型。
与普遍看法相反
然而,新型传感器硬件的主要分析师和开发人员对NHTSA的“软件升级”路径持怀疑态度。
红外热成像仪公司预计到了这一规定,因此极力游说业界采用新传感器。行业分析师在道路测试或现场演示中指出了这种新硬件的优势。
但是,解读新规定的关键是要明白,NHTSA并不一定要求增加成本采用最先进的传感器。它也不期望一个完美的传感器包能产生零误报。相反,监管机构感兴趣的是“使这种(AEB)安全功能成为标准配置,而不是奢侈品……以解决我们道路上的死亡危险”。
车厂总是被成本所驱使,在这里,他们与NHTSA的动机不谋而合。
NHTSA回忆起自己在安全带要求方面的经验,认为如果车厂能够实现软件升级,那么该机构就不必再面对车厂们对AEB规定的集体反对。
VSI Labs的创始人兼总裁Phil Magney表示,他怀疑“热能领域的参与者(Owl、Flir或Adasky)会看到一些询价单”。对于雷达,Magney认为这可能包括Arbe。但他并不认为LiDAR有发展空间,主要是因为成本问题。
标准传感器的进步
软件定义传感器的推广者提出了两个理由,他们认为软件升级足以满足AEB的要求。
首先,如今汽车市场上有越来越多价格合理的摄像头和雷达,可以生成同样丰富、详细的数据。其次,处理器的改进使得AI可应用于感知数据,产生基于AI的物体分类。
NXP最近证实,该公司认为摄像头与标准雷达的结合可使OEM通过NHTSA规定的弱光环境下PAEB的要求。
NXP的ADAS营销主管Matthias Feulner举例说明了NXP与上海雷达供应商sinPro合作开发的入门级成像雷达。
Feulner说:“我们所说的雷达销售价格在40美元左右。”他播放了一段关于这种入门级成像雷达的视频,并指出:“你可以从传感器上看到密集的点云和许多细节。在视频中,雷达探测到了夜间丢失的货物、丢失的轮胎和隐藏在车辆后面的行人。众所周知,雷达在不安全或不理想的天气中也能发挥有效作用。”
Feulner强调说:“从本质上讲,我们在NHTSA报告中听到的挑战可以通过使用具有成本效益的雷达来克服。”
NXP改进雷达的关键在于使用基于AI的物体分类。现在,即使是入门级成像雷达也能提供质量可接受的有意义的感知数据,NXP可以将这些数据输入神经网络,从而实现雷达的软件定义。Feulner说:“即使在汽车交付给客户后,训练仍在继续。”这使得“完善模型、改进物体分类或提高物体检测的可靠性”成为可能。
不过,Feulner明确指出,这种升级的关键在于“系统的有效分区”。这样的系统通常需要几个部分协同工作,包括处理部分、算法部分、基于毫米波的前端和天线特性。
然而,汽车系统设计人员仍在争论智能传感器融合应在车辆的哪个位置进行。正如NXP所说,雷达架构的未来应该是智能传感器还是分布式传感器?
答案取决于OEM正在开发的车型级别。对于缺乏高性能计算或高车载网络带宽的中低端车型来说,选择是显而易见的。Feulner解释说,你需要智能传感器,智能将继续留在传感器中。在这种情况下,雷达可以识别物体和集群,同时跟踪可能触发AEB等功能的物体。
另一方面,他认为“分布式雷达”将进入高端车型市场。他指出:“我们拥有更强大的计算能力和分布在车辆周围的更多传感器。这使我们能够利用联网传感器网络。”
Feuler认为,同时覆盖智能传感器和分布式传感器这两种方案是有益的。它让NXP为OEM指明了一条更顺畅的道路,使其能够从基于智能传感器的架构升级到未来的分布式架构。
在AI处理器上融合雷达和摄像头数据
相比之下,Ambarella为OEM提供了一条更为积极的软件定义传感器之路。Ambarella的关键是其 CV3,这是一个SoC系列,可实现多传感器感知的集中式单芯片处理,包括高分辨率视觉、雷达和超声波,以及多种传感器模式和AV路径规划的深度融合。
Ambarella副总裁兼总经理Steven Hong告诉我们,CV3实质上是一个AI域控制器,可同时处理雷达和摄像头数据,同时将原始数据(未经预处理)提供给AI。Hong强调说,Ambarella正在“以最原始的形式处理摄像头数据”,从而实现雷达数据处理。
Hong说:“这种组合可以探测到较小和较弱的物体,还有助于抑制“许多通常距离很近的幽灵目标”。摄像头可以快速过滤这些目标,减少雷达固有的误报问题。
Hong指出,基于CV3的系统结合了雷达和摄像头的数据处理,“也降低了成本”。
Hong表示,通过同时处理雷达和摄像头,传感器可以互补(平衡摄像头的弱点和雷达的优势,反之亦然),利用AI使两个传感器同时覆盖“所有不同的视场”。Hong承诺,OEM因此可以选择更便宜的摄像头和雷达。据该公司称,CV3处理器本身的所有功能也比竞争对手的高端中央计算处理器便宜。Hong称,这一优势使Ambarella在中国赢得了多个订单。
Ambarella上周宣布,Leapmotor选择Ambarella的CV3-AD AI域控制器搭载于其新的车型。
Indie致力于夜间物体检测
Indie Semiconductor负责战略营销的高级副总裁Chet Babla同意将两种传感器模式结合起来,“以最大限度地提高感知算法的检测能力”。他说:“如今,一些OEM已经在这样做了,他们已经为融合设计了传感和感知架构。”
但他担心,NHTSA的夜间PAEB规定“又增加了一个维度,即使是这些利用雷达和摄像头融合的系统也可能面临挑战”。
他认为,摄像头的夜视能力“在很大程度上取决于成像传感器及其配套的CFA(color filter array),以及系统中使用的ISP的能力”。
Indie从中看到了商机。
他解释道:
传统上,RGB “Bayer” CFA一直用于汽车摄像头,因为它们非常符合人体视觉的敏锐度。但是,RGB传感并不能提供最佳的弱光性能。为了解决这个问题,RCCB、RCCG和RGB-IR等较新的CFA可提供更强的弱光/夜间性能,以支持夜间PAEB。但这同样需要经过优化的ISP,以便与这些新型CFA配合使用。目前,绝大多数已部署的汽车摄像头系统都不具备这种新型传感器CFA和ISP硬件能力。
Babla声称,Indie的视觉处理器已经可以支持夜间视频处理所需的所有传感器、CFA和ISP。
但他指出,Indie需要开发“额外的片上物体检测功能,利用神经网络处理夜间PAEB所需的功能”。
Babla说:“我们正在利用下一代SoC积极开发这项功能。”但他并没有透露更多细节。
线索之一是Indie今年早些时候宣布与巴塞罗那汽车摄像头客户Ficosa合作开发智能摄像头解决方案。
Indie正在为其传感器提供分布式智能,相信这将在OEM车型平台上实现可扩展的ADAS。基于zonal的架构将推动可扩展性和可选性,并寻求在边缘利用传感器融合进行处理。
OEM仍在谈论SDV,但并未付诸行动。SDV迫使OEM开发一个具有硬件资源(处理器、存储器、网络和存储)的平台,不同的SDV工作负载可以灵活地共享这些资源。与此相反,软件定义传感器提供了一个机会,让OEM可以在边缘或zonal架构中实施软件驱动的概念,而无需改变整个车辆架构。