基于点到极线度量的用于道路车辆的双目视觉里程计

发布时间:2023-01-31  

摘要

精准定位是所有自动驾驶系统的基础组成模块。本文,我们专注于双目相机,提出一种名叫SOFT2的新方法,这是当前KITTI评分板上排名第一的算法。SOFT2依赖于对极几何和运动学的约束,也就是说,它是为不会出现纯旋转的装置而开发的。我们最小化了点到极线的距离,这使得该方法能够适应对象深度的不确定性,作为第一步,我们仅使用一个摄像头按比例估计运动。

然后,我们提出联合估计绝对尺度和第二个相机的外部旋转矩阵,以减轻变化的双目设备的外参的影响。最后, 我们通过提出的极线BA处理,平滑帧时间窗口中的运动估计 。

我们还引入了一个多假设特征匹配方法,用于因视角变化出现的外观变化而出现的自相似平面。我们评估SOFT2,并将其与ORB-SLAM2、OV2SLAM和VINS-FUSION在KITTI-360数据集上、KITTI训练序列、Málaga Urban数据集、Oxford Robotics Car数据集、和多车立体事件摄像机数据集进行比较。39e53c3c-a047-11ed-bfe3-dac502259ad0.png

图1. KITTI 01序列的极线图解。相机光心点(红色)大致与当前(绿色)和之前(蓝色)帧的极点重合-为了更好地可视化,点位于放大的中心圆中。正方形显示当前帧中检测到的特征,而尾线将它们与来自上一帧的匹配点连接起来。绿线表示与前一帧特征关联的极线。颜色将地面特征和其它特征进行了区分。我们的方法最小化了所有特征与相关极线的垂直距离。

39f575d4-a047-11ed-bfe3-dac502259ad0.png

图2.所提双目里程计方法的整体流程。三角形分别代表左右相机。

3a01390a-a047-11ed-bfe3-dac502259ad0.png

图3. 尺度和外参旋转估计的阐述。彩色虚线表示代价函数中使用的极线代价对。红色变量表示估计变量。

3a0d83c2-a047-11ed-bfe3-dac502259ad0.png

图4.4帧极线BA的说明。注意,我们只使用左相机的图像。虚线表示代价函数中使用的额外极线代价对,除了来自连续帧的函数外。红色变量表示估计变量。

3a1c786e-a047-11ed-bfe3-dac502259ad0.png

图5.六条道路特征的示例,其中每三条分别表示:从左侧摄像头(左侧)看到的道路特征(左边块),使用SOFT2(中间块)生成的预测,以及在右侧图像中找到的相应的特征(右侧块)。

3a2efc1e-a047-11ed-bfe3-dac502259ad0.png

图6.在KITTI01序列的第390帧检测到的ORB-SLAM2特征(上)和SOFT2特征(下)。道路特征被标记为紫色,其它被标记为青色。

3a5275f4-a047-11ed-bfe3-dac502259ad0.png

图7.六条道路特征的示例,其中每三条分别表示:从左侧相机(左侧块)看到的特征,使用SOFT2生成过去5帧的预测(中间块),以及在过去5帧左侧图像找到的特征(右侧块)。

3a605c00-a047-11ed-bfe3-dac502259ad0.png

图8.三个KITTI-360序列的估计轨迹和真值。

3a6fd98c-a047-11ed-bfe3-dac502259ad0.png

表1.九个KITTI-360序列的实验评估(trel[%],rrelr[deg/100 m])。VO是基础—本征矩阵+利用旧版本SOFT匹配器得到的尺度和外参。注意,SOFT2列表示包含带极线BA的多假设透视校正匹配器的版本,即SOFT2=VO+MHPC+BA3。

3a80f988-a047-11ed-bfe3-dac502259ad0.png

图9.外参估计结果显示右侧相机相对于左侧相机的相对旋转,和有估计以及没有估计的轨迹误差影响。ORB-SLAM2的误差也展示出来,以供参考。

3aa927dc-a047-11ed-bfe3-dac502259ad0.png

表2.在11个KITTI数据集训练序列的实验评估。

3ab3f40a-a047-11ed-bfe3-dac502259ad0.png

图10.三个Málaga序列的估计轨迹和真值。

3ac414a2-a047-11ed-bfe3-dac502259ad0.png

表3.Málaga数据集的实验评估。

3ad37776-a047-11ed-bfe3-dac502259ad0.png

图11.三个Oxford片段的估计轨迹和真值。

3ae0db32-a047-11ed-bfe3-dac502259ad0.png

表4.Oxford数据集的实验评估。

3af988a8-a047-11ed-bfe3-dac502259ad0.png

图12.MVSEC序列的估计轨迹和真值。

3b068f6c-a047-11ed-bfe3-dac502259ad0.png

表5.MVSEC数据集的实验评估。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    西门子S7-1200PLC的四种定时器指令;在S7-1200PLC中,采用的定时器是标准的IEC定时器,属于函数块,所以每个定时器在使用时,都必须为其配置一个背景数据块来保存相应的数据,并且......
    四种单相交流电机电容的接法;单相交流电机有四种类型,在工作时都离不开电容,以下介绍了四种单相交流电机电容的接法,为了使电容正确的接入电机,必须了解清楚四种电机的结构和工作特点,下面......
    觉方案,其不仅能够为倒车影像、360度全景环视和行车记录仪等应用提供1080P高清分辨率,还具备低能耗特性和高性价比,是智能汽车视觉系统的理想之选。  图示2-大联大友尚基于晶相光电和伟诠电子产品的汽车视......
    器和伟诠电子 WT8932图像处理器推出了汽车视觉方案,其不仅能够为倒车影像、360度全景环视和行车记录仪等应用提供1080P高清分辨率,还具备低能耗特性和高性价比,是智能汽车视觉系统的理想之选。   图示2-大联大友尚基于晶相光电和伟诠电子产品的汽车视......
    对驾驶员起到危险预警的作用。为了加快汽车视觉设计,大联大友尚基于晶相光电JX-A05传感器和伟诠电子 WT8932图像处理器推出了汽车视觉方案,其不仅能够为倒车影像、360度全景环视和行车......
    )、WiFi功能(可选)等,实现移动通信与实时定位,维持持久在线。 基于5G/4G智能网关的大货车安全监测方案 一、行车盲区补充:大货车普遍存在行驶盲区,当大货车变道、拐弯时,缺乏行车视......
    PLC间跨网段通讯的四种方法;(一)通过路由模式实现 如果两台PLC分别属于不同网段,并且还有数据通讯的需求,那么最典型的应用就是通过路由的模式来实现。在PLC侧需要使能“使用路由器”功能,并填......
    觉方案,其不仅能够为倒车影像、360度全景环视和行车记录仪等应用提供1080P高清分辨率,还具备低能耗特性和高性价比,是智能汽车视觉系统的理想之选。 图示2-大联大友尚基于晶相光电和伟诠电子产品的汽车视......
    1.2.0系统版本实现,针对智驾车型实现高速NOA领航辅助驾驶、LAPA超视距记忆泊车等高阶智驾功能,以及若干项实用功能和体验优化。智驾能力再进阶,彰显东风奕派eπ007在智能体验上的持续迭代,将不......
    升级通过eπ OS 1.2.0系统版本实现,针对智驾车型实现高速NOA领航辅助驾驶、LAPA超视距记忆泊车等高阶智驾功能,以及若干项实用功能和体验优化。智驾能力再进阶,彰显东风奕派eπ007在智......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>