中国大学将激光雷达点云数据与摄像头图像融合

发布时间:2024-07-16  

据外媒报道,近日,中国天津职业技术师范大学(Tianjin University of Technology and Education)、山东交通职业学院(Shandong Transport Vocational College)和天津中德应用科技大学(Tianjin Sino-German University of Applied Sciences)的研究人员讨论到,将光探测和测距(LiDAR激光雷达)与摄像头传感器相集成对提高自动驾驶汽车的物体探测能力的重要性。此种传感器融合技术将激光雷达点云数据和RGB(红、绿、蓝)摄像头图像集成在一起,旨在提高自动驾驶汽车在不同环境条件下的探测精度和可靠性。


中国大学将激光雷达点云数据与摄像头图像融合


传感器融合(图片来源:azosensors.com)


自动驾驶汽车技术的进步促进了人们对强大物体探测和跟踪系统的需求不断增长,以确保自动驾驶汽车可在各种环境条件下安全、高效地运行。传统的物体探测系统通常依赖激光雷达或摄像头等单个传感器,而这类传感器都具有各自的优势和局限性。激光雷达传感器可以提供精确的深度信息,但在恶劣天气条件或低光照环境下可能会遇到困难。


为了克服此类单个传感器的局限性以及提升探测能力,通过融合技术集成多个传感器已成为一种有发展前景的解决方案。激光雷达-摄像头传感器融合技术结合了激光雷达的深度感知能力以及摄像头所捕捉到的视觉信息。


在该项研究中,研究人员通过激光雷达-摄像头传感器融合技术,来提升自动驾驶汽车的物体探测能力。该技术采用了一种综合方法,将激光雷达点云的数据与RGB摄像头图像集成在一起。


研究人员使用KITTI数据集收集数据,该数据集提供了同步的激光雷达点云数据和RGB图像以及内部和外部的传感器参数,帮助摄像头和激光雷达设备进行校准,从而实现坐标系之间的精确投影。此外,研究人员还采用自己采集到的数据,在现实场景中验证PointPillars算法的探测性能。


研究人员采用了两种最先进的深度学习模型用于物体探测:用于激光雷达点云数据处理的PointPillars以及用于分析摄像头捕捉到的RGB图像的YOLOv5。PointPillars网络基于激光雷达数据生成3D物体探测结果,而YOLOv5基于摄像头图像提供2D物体探测结果。此类结果相融合对于实现全面的物体探测至关重要。


结果融合过程包括使用联合校准参数,将激光雷达的3D物体检测框投射到由摄像头捕捉到的2D图像上。研究人员采用目标边界框相交重叠(IOU评价函数)匹配策略,将激光雷达和摄像头的探测结果融合在一起,再采用结合了Dempster-Shafer(D-S)理论的融合算法,结合类别置信度,产生最终的融合探测输出结果。


对于跟踪移动物体,研究人员改进了DeepSORT算法,以解决遮挡后动态物体重新出现产生的身份切换问题。改进后的DeepSORT算法采用了一个无迹卡尔曼滤波器(Unscented Kalman Filter)来进行状态估计,提高了在动态场景下的跟踪精度。


研究人员设置的实验分析了融合算法在不同日间场景下的性能,将融合结果与单传感器探测的结果进行比较,以评估该融合方法在更准确地包裹汽车和行人目标方面的有效性,另外还采用了多物体跟踪准确度(MOTA)、多物体跟踪精度(MOTP)、高阶跟踪精度(HOTA)以及集成式探测与跟踪F1分数(IDF1)等性能指标来评估该跟踪算法的效率。


在日间场景中,该融合算法将激光雷达和摄像头数据高效结合,以产生更加全面且准确的物体探测结果。融合结果表明,与单传感器探测相比,目标边界框可以更好地包裹汽车和行人目标,探测性能得以提升对于确保自动驾驶系统在各种日间场景中的安全性和高效率至关重要。


在灯光昏暗的夜间场景中,激光雷达和摄像头数据的融合显得尤为重要。该融合算法成功补足了单个传感器的局限性,特别是在探测行人和车辆目标的情况下。融合结果显示出较强的识别效果,能够更完整地包裹目标,提高了低光照环境下的整体探测能力。


基于D-S证据理论的统计分析法为融合过程提供了宝贵的见解,该融合策略有效地结合了激光雷达和摄像头数据的类别置信度,从而提高了物体探测能力。此类融合结果表明,该方法探测到汽车和行人的概率更高,表明了该融合算法在提升探测精度方面具有鲁棒性。


该研究还评估了跟踪算法在动态目标跟踪场景下的性能,特别是得到改进的DeepSORT算法的性能。研究人员采用MOTA、MOTP、HOTA和IDF1等指标对不同的跟踪方法进行了比较,凸显了得到改进的DeepSORT算法在准确跟踪动态目标、减少身份切换问题以及提升整体跟踪性能方面的有效性。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>