本文介绍了TwinLiteNet:一种自动驾驶汽车中可行驶区域和车道分割的高效轻量级模型。语义分割是自动驾驶中理解周围环境的一项常见任务。可行驶区域分割和车道检测对于道路上安全且高效的导航尤为重要。然而,原始的语义分割模型计算代价高昂,并且需要高端硬件,这对于自动驾驶汽车中的嵌入式系统是不可行的。
本文提出了一种用于可行驶区域和车道线分割的轻量级模型。TwinLiteNet设计代价低廉,但是可以获得精确且高效的分割结果。我们在BDD100K数据集上评估了TwinLiteNet,并且将其与现代模型进行比较。
实验结果表明,TwinLiteNet的表现与现有方法类似,所需要的计算资源明显减少。具体而言,TwinLiteNet使用仅40万个参数在可行驶区域分割任务中获得91.3%的mIoU得分以及在车道检测任务中获得31.08%的IoU得分,并且在GPU RTX A5000上实现了415FPS帧率。此外,TwinLiteNet可以在计算能力有效的嵌入式设备上实时地运行,尤其是因为它在Jetson Xavier NX上实现了60FPS帧率,这使其成为自动驾驶汽车的理想解决方案。
主要贡献
本文的主要贡献如下:
1)本文提出了一种用于可行驶区域分割和车道检测的计算高效框架;
2)本文提出的架构基于ESPNet,它是一种可扩展的卷积分割网络,其结合了深度可分离卷积以及双重注意力网络,但是没有使用单个解码模块,而是针对每个任务利用两个解码模块,类似于YOLOP、YOLOPv2;
3)本文实验结果表明,TwinLiteNet在各种图像分割任务上通过较少的参数实现了不错的性能。
论文图片和表格
总结
本文为自动驾驶任务(特别是可行驶区域分割和车道检测)引入了一种轻量级且高效的分割模型。本文的TwinLiteNet旨在实现高处理速度,同时在准确性方面稍作权衡。本文在BDD100K数据集上评估了TwinLiteNet,结果表明,本文模型在GPUs甚至边缘设备上实现了精度和高计算速度之间的良好平衡。今后,我们试图在各种开源数据集上评估TwinLiteNet模型的性能,并且将其应用于现实世界场景中。该方法使我们能够评估其在不同情况下的有效性,并且应对实际挑战。