前段时间，鉴智机器人CTO、联合创始人都大龙博士在一场活动上发表了题为《以视觉3D理解为核心的新一代自动驾驶系统》的主题演讲，推出「双目立体视觉智能驾驶系统」（以下简称“双目智驾系统”），本文将结合演讲内容，对“双目智驾系统”做一次比较全面的介绍和梳理，解答如下几大问题：

• 为什么要采用双目智驾系统

• 双目智驾系统的技术门槛

• 双目智驾系统在性能、成本、体系化方面的优势

• 双目智驾系统可实现的差异化功能

2023年注定是充满变化与革新的一年。

年初特斯拉大降价引发行业巨震，而后国内从新势力车企到3月份的燃油车降价潮，都在进一步考验着整车成本，行业性价比比拼进入关键期。

相关热点新闻背后，是智能汽车整体的趋势：汽车硬件成本会越来越便宜，智能软件的价格越来越贵。

 △特斯拉硬件与软件价格趋势对比

在这种背景下，行业必须思考：什么方案能支持智驾持续发展，以更具性价比的方式，实现性能更优、功能更可靠的智驾？

一个核心破局思路在传感器端。行业需要配置稳定、信息涵载完备，可以大规模量产的传感器配置方案。

相比于其他传感器，视觉传感器具有信息涵载完备、硬件成本低的固有优势，但其信息为间接表示，对算法和算力的挖掘要求极高，这既是行业难点、也是技术壁垒。

（所谓“间接表示”，指视觉传感器的所有信息都需要二次处理才能被利用。比如做识别，不管是模式识别还是CNN还是RNN，都是需要通过处理才能获得结果。双目的测距虽然是直接的，但是也要经历标定、匹配等，才能生成视差。）

基于这一洞察，鉴智机器人自成立伊始，以终为始，通过基于AI算法与视觉传感器的软硬协同优化，构建以视觉3D理解为核心的智能驾驶系统「双目立体视觉智能驾驶系统」。

一、为什么用“双目”研发智驾系统？

视觉路线在信息涵载方面具有显著优势，视觉传感器作为核心感知部件也已成为业界共识。不过，一直以来业内都有着单目、双目等路线的比较和探讨。

双目立体视觉传感是生物亿年进化并最终与现实世界自洽的结果。左/右目投影成像与视差之间构建了一种自监督的约束模式，使之能与物理世界的三维信息关联，并持续自适应学习，从而赋能机器人与自动驾驶在现实世界中自如活动的能力。

与单目相比，双目立体视觉还有以下重大优势：

1. 具有物理学定律支持的真3D信息提取能力。

人和动物之所以能产生立体的感知，本质上是因为左/右目或不同时刻对同一物体看到的图像有所差异，这种差异以视差进行描述，而视差基于三角测量原理即可得到深度。由于视差获取是通过左/右目图像的差异计算的，仅与图像像素级的相似度有关，并不依赖高层语义信息，因此可以直接解决当前自动驾驶“先识别再检测”（非标障碍物检测）的问题，可以处理非标物体和路况。

与传统基于启发式规则计算左/右目图像匹配以获取视差的方式不同，鉴智机器人采用机器学习的AI对左/右目以及时序图像进行时空匹配，不仅大大提升了3D/4D感知的性能，而且能够以数据驱动的方式不断学习进化。

 △鉴智机器人双目视觉雷达输出的RGBD深度点云图

2. 可以大大提升自动驾驶3D/4D数据闭环的性能和效率。

针对自动驾驶多传感器后融合后处理所面临的语义理解天花板问题，即通过启发式规则对不同传感器的感知结果进行融合，难以解决类似大车截断等问题，业内提出了基于学习的端到端bev 3D/4D感知方案，将启发式规则用AI学习的方法替代，从而大大提升了自动驾驶语义理解的天花板。但同时也对数据闭环真值系统提出了更高的要求，即3D/4D感知系统所需要的真值获取成本往往是非常高的，距离、速度、光流、场景流等信息人工难以标注。

依赖激光雷达进行3D/4D真值获取的方式不仅与视觉难以自洽，而且难以解决数采与量产的鸿沟（量产车型绝大多数并不配置激光雷达）。双目立体视觉由于具备更精准、更稳定、泛化能力更强的稠密3D描述信息，可以以更低的门槛、更高的效率构建更高精度的3D/4D重建，从而得以构建更高效能和效率的3D/4D数据闭环系统。

 △鉴智机器人双目智驾系统输出的4D重建效果

二、双目智驾系统有何技术门槛？

当前，双目立体视觉已从最初的“小众路线”走向大众：自2021年起前装搭载车型便不断增加，从多为豪华品牌车型到如今成为越来越多自主品牌新车的“标配”：诸如吉利领克009、北汽极狐阿尔法S、五菱Kiwi等车型，均选择双目立体视觉作为前向主传感器。

不过，双目智驾系统的实现从硬件到算法再到量产都有着极高的技术门槛：

1. 硬件门槛：

车载双目相机需要在整车10年30万公里的生命周期内维持高稳定性，需要光学部件、结构及材料、生产工艺、图像做全栈软硬件协同优化；

2. 性能门槛+算法门槛：

a. 在满足车载可布置空间尺寸限制下，通过超分辨率视差计算方案实现百米外的车辆、行人、以及非标障碍物的高精度测距；

b. 高帧率、高精度、稠密深度估计，在成本可控的嵌入式计算平台实现产品化；

c. 利用AI学习范式解决弱纹理、重复纹理场景视差匹配精度的问题，同时基于数据驱动不断提升时空层面的视差精度；

3. 量产门槛：

a. 产线标定方案需要结合相机硬件特性做全栈自研，生产节拍可根据整车生产节拍定制；

b. 在线自标定在无真值参考的前提下，能够对模组多自由度的偏差进行校准，保证点云数量和精度符合感知的性能要求。

 

三、双目智驾系统差异化优势详解

传统的双目立体匹配算法针对弱纹理、反光等区域效果比较差，对物体语义信息利用较少，算法适用范围具有局限性，效果上限明显。鉴智机器人通过贯穿传感器、AI算法的3D视觉理解路线，构建眼脑协同新范式，打造基于AI的双目立体视觉产品，提供高阶智驾前视感知所需的稠密、实时、同步的3D描述信息。

与传统的双目视觉方案相比，基于AI的双目立体视觉方案可以带来以下优势：

1. 【性能优势】

a. 目标感知优势：

i. 通过双目深度估计提供的3D信息降低了视觉感知后处理系统复杂度，得到更精确的3D视觉结果；

ii. 针对低纹理非标物体、非训练集目标、进出隧道场景和单目立体盲（车辆或地面印刷物易被检测为交通参与者或设施）等场景，通过双目深度估计能够获取精确的深度信息。

b. 道路结构感知优势：

同样地，双目的深度信息可以更好地得到道路拓扑及可行驶区域，对于非结构化道路路面分隔、大曲率弯道、道路拓扑、坡道场景的识别更准确；同时，稠密的3D描述信息对于路面凹凸场景的高程检测相对比稀疏激光雷达点云检测性能更佳。

c. 在线建图精度优势：

双目深度估计可以增强在线局部建图中特征点的准确深度信息，提升在线建图的精度。同时，由于双目立体视觉可以对每一帧图片进行三角化，能够更快地进行地图的初始化和更新，从而具有更好的场景泛化性，可以实现效果更佳的记忆行车及记忆泊车功能。

 

2. 【成本优势】

a. 传感器本身的低成本：以双目立体视觉产品为主的传感器配置本身成本低，还可以减少传感器数量，相较于激光雷达等方案，呈现一个数量级的成本降低。

b. 传感器复用的低成本：鉴智机器人双目立体视觉产品，除可满足高阶智驾功能外，更可赋能其他智能化应用，如魔毯高程检测、通过性检测等，实现单一传感器的多功能复用，降低整车综合成本。

3. 【体系化优势】

a. 面向系统能力边界拓展和安全：

鉴智机器人双目立体视觉智驾系统，从入门ADAS到更高阶智驾功能，均能提供“越级式”的系统能力，满足性价比的产品需求，实现“一个技术平台，覆盖不同定位车型平台”。

b. 面向3D感知的AI数据闭环：

具备稠密的视觉3D描述信息，双目立体视觉成为天然的3D数据开垦机器，可面向大规模的量产交付实现极具规模化效应的视觉3D数据闭环。相较于传统围绕LiDAR建立的数据体系，双目立体视觉产品助力实现端到端AI数据闭环，可数量级提升数据驱动的数据闭环迭代效率。

四、双目智驾系统能实现哪些功能？

鉴智机器人双目智驾系统为城市行车提供全天时、全天候、全类目的主动安全，功能包括主动安全系统、行车功能和双目智驾特色功能三大方面：

主动安全系统：满足Euro-NCAP 2023 要求实现五星标准的主动安全功能之外，同时支持增强型安全功能，包括ELKS（紧急车道保持）、AES (紧急自动转向)，ESS (紧急安全停车策略)，低速近距离AEB等，以提供全方位的主动安全保障能力；

行车功能：TSR/TLR（交通标识/灯识别及响应）、Pilot （居中巡航辅助驾驶）、NOA（ 高速领航辅助驾驶）、DTLC（驾驶员拨杆变道）、ALC（自主变道）、Pilot Junction Assist（路口通行辅助）等。同时该系统支持行车场景体验的进一步拓展，包括后续实现城区领航辅助及低速行车辅助等。

双目智驾特色功能：近距离加塞处理、非标障碍物避让、大曲率弯道居中巡航、路面高程检测、道路拓扑结构构建、可行驶区域检测、高性能记忆行车和记忆泊车等。

这些特色功能均是基于双目3D感知的差异化优势开发而得。比如近距离防加塞功能，单目cut-in控制要检测到车辆目标时才会启动，这需要车身进入视野的部分能够支持车辆被识别到。而双目智驾系统直接利用双目3D信息，在车头刚刚探入时就能够检测到非标障碍物的探入，从而更加及时有效的启动cut-in控制。

再如非标障碍物绕行功能，一般而言，车祸、建筑工地等场景没有清晰的定义，是非标准化场景，单目智驾系统很难做出准确判断，而双目智驾系统可以检测出非常准确的可行驶区域实现绕行，大大提升这些非标场景的处理体验。

 △双目智驾的特色场景功能示意

此外，双目智驾系统在魔毯悬架、驾驶模式智能调节、窄道可通过性检测等方面的表现同样优异。例如，通过双目预瞄可以精确感知左/右车轮区域的路面凹凸高度信息，配合悬架系统提前调节相关参数，提升驾乘舒适感；再如利用窄道可通过性检测，通过检测可行驶区域宽度，并结合自车宽度判断本车是否可通过，从而提高通过安全性。

 △双目智驾面向驾乘舒适性及底盘智能化的应用

4月18日-27日，鉴智机器人将携国内首个基于AI的双目立体视觉智能驾驶系统亮相第二十届上海国际汽车工业展览会（2.2H馆2BF020B展位），欢迎参观垂询！