全面详解FSD车道算法

发布时间:2024-03-12  

特斯拉一直强调其纯视觉自动驾驶方案的强大,人类感知、认知世界时,有70%-80%的数据,都是通过视觉进行处理的。这至少意味着,在“智能”的产生过程中,视觉占据了极其重要的地位。而特斯拉选择依靠纯视觉技术的持续升级不断向自动驾驶发起挑战,某种程度上是在复现智能的进化过程。


那么,什么是 FSD?

15d2f716-b8c5-11ee-8b88-92fbcf53809c.png

15ddbafc-b8c5-11ee-8b88-92fbcf53809c.png

15f69c66-b8c5-11ee-8b88-92fbcf53809c.png

下面视频为您深度解读特斯拉自动驾驶系统(FSD)技术思路与核心原理:

值得关注的是,特斯拉在强大的 FSD 系统中,应用了大量 AI 算法,例如:

路径及运动规划算法:算法植入到终端,终端通过算法感知环境,规划路径,确保安全,平顺前进;

环境感知算法:Occupancy 算法用于可活动空间探测;Lane & Objects 算法用于交通中车道线、物体识别以及运动信息探测;

训练数据设施:超算中心用来支持数据处理,算法训练;

自动标注算法:标注数据,训练环境感知算法识别这类场景或者物体;

环境虚拟仿真:合成制造虚拟场景;

数据引擎:测试软件获取真实场景环境数据,闭环数据引擎,更正标签等。

1. 路径以及运动规划算法:应对无保护左转

16088b60-b8c5-11ee-8b88-92fbcf53809c.png

特斯拉采用的规划模型名为交互搜索(Interaction Search),主要分为五个步骤:

160f7254-b8c5-11ee-8b88-92fbcf53809c.png

树搜索过程有两个核心模块,即决策树生成和决策树剪枝。

161df66c-b8c5-11ee-8b88-92fbcf53809c.png

预先构建人类驾驶行为和虚拟驾驶行为库供算法查询的技术思路节省了计算时间,决策树提供了利用各项指标去框定选择最优路径的能力。

2. 环境感知算法:实现交通参与者行为预测

面对复杂驾驶场景:六个方向的交叉路口,每个路口均有较多行驶车辆、静止车辆、行人等交通参与者。即使车上配 8 个摄像头,如遇到其他车遮挡,其预测难度也大大增加。对此,特斯拉公布了一种详细架构 Occupancy Network 用以进行交通参与者(车辆、行人等)行为预测。

(1)Occupancy Network 算法

特斯拉环境感知主要依赖视觉,其提出 Occupancy Networks 算法用来探索可运动 3D 空间,该算法在算力和内存之间取得很好的效率,大概 10ms 可建模完成,此算法已经运行在所有 FSD 的特斯拉上,Occupancy Network 算法工作流如下:

162e7988-b8c5-11ee-8b88-92fbcf53809c.png

Queryable Outputs:去卷积之后的反向物体有些可能不能完全代表真实的物体的大小,所以特斯拉算法采用查询法去数据库中查询真实世界的结果,进行位置和大小的矫正再进行空间放置。

(2)车道识别算法

传统车道识别算法采用 2D 分割算法,如 RegNet,在高速以及清晰高度结构化的场景应用较好,但在面对复杂的城市应用场景,如繁忙交通中交汇口前车遮挡等无法采集到足够数据时,特斯拉如何在不依赖高精地图仅仅依靠纯时间算法情况下进行对车道信息的精准识别呢?特斯拉给出的答案是:采用神经元算法预测,生成全套车道实例及其相互连接。

特斯拉最新的 FSD 车道算法由以下三个组件组成:

16558596-b8c5-11ee-8b88-92fbcf53809c.png

车道识别算法创新性地借鉴语言算法来解决视觉算法问题。

3. 语义分割+自动标注+场景仿真:完成周边车辆预测

面对复杂驾驶场景:如高速公路上行驶,车前摄像头出现雪花盲区或起雾导致其视线无法看清前车时,对车辆自主决策、自动安全驾驶等提出巨大挑战。

(1)语义分割

166f8d56-b8c5-11ee-8b88-92fbcf53809c.png

(2)自动标注

167d3410-b8c5-11ee-8b88-92fbcf53809c.png

A. 车道线自动标注步骤

16902a7a-b8c5-11ee-8b88-92fbcf53809c.png

B. 场景仿真

即使特斯拉有大量数据和高效的自动化标注工具,也并不意味着它们的数据够用。现实场景的复杂程度超乎想象,比如场景非常罕见以至于几乎收集不到(例:高速上人车狗同时飞奔),或者是场景复杂程度超过自动化工具能力(例:一条街上塞了重重叠叠的几十上百号人)。特斯拉依靠过去收集到的数据,仿真出全新的、自带标注的场景以供训练。

视觉仿真的先决条件是要准备自动标注的真实世界道路信息 和丰富的图形素材库,然后依次执行以下步骤:

169d7fe0-b8c5-11ee-8b88-92fbcf53809c.png

特斯拉提出,FSD 核心技术难点之一在于汽车如何去理解复杂的动态驾驶场景,保证自动驾驶的安全性。在座舱内对 BIVMS(Bulit-in Vehicle Intelligent Monitor System)开发过程中,其核心技术难点之一同样在于 BVIMS 如何去理解复杂、多样化的驾驶员动态驾驶场景,以保证其识别的准确性和提醒的合理性,需在面向复杂场景时将技术做深做精,减少误识别、漏识别等情况,打造高性能产品以快速抢占座舱智能化市场。随着座舱内功能的愈发丰富,为了提升用户越来越高的交互体验需求,参考特斯拉 FSD 采用多摄像头纯视觉方案,智能座舱内可同样采用多摄像头方案(DMS,即 Driver-Monitor-System;OMS,即 Occupancy Monitoring System;TOF,即 Time-of-flight),基于多传感器融合方案大大提高座舱算法识别精度,在数据丰富性和精准性上不断提升,开发多模态、3D TOF 应用、AR-HUD(Augmented Reality Head-Up Display)、健康检测等极具创新性的车载产品,此方案也是智能座舱视觉领域后期开发的演进思路和发展趋势。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    快速看懂PLC程序的6个技巧;1、充分了解机器自动化设备的工艺流程。如何才能看懂PLC程序? 2、充分理解所有传感器原理和安装位置。 3、充分理解所有执行机构包括变频器,伺服电机,步进电机,液压......
    快速看懂电路图,秒懂复杂线路; 在探索电子设备和电子制作的过程中,电路图无疑扮演了重要的角色。 它不仅帮助工程师理解电子产品的工作原理,还是......
    全新电路图符号大全,助你快速看懂图; 电路图,是一种以物理电学标准符号来绘制各电子元器件组成和关系的电路原理布局图,它被广泛应用于人类工程规划和电路研究。通过分析电路图,可以......
    差示扫描量热仪复合相变材料DSC实验;一、概述 相变材料,是指物质发生相变时能够吸收或放出热量而该物质本身温度不变或变化不大的一种材料,因其巨大的相 变潜热特性而具有温控、储能等热防护功能。 应用......
    解析数据流程繁琐,如何快速分析测试数据; 如何能快速定位故障,排查车辆的故障和隐患; 如何快速便捷升级ECU固件。 基于以上问题,广州致远电子对整个行业推出了新能源汽车路试分析系统方案,该系统为基于ZWS云平......
    实时应用定制许可选项 随着工业和自动驾驶汽车市场快速发展,人们对软件工具的需求与日俱增,这些工具能够更快、更高效地进行实时控制应用的编码和调试。为了更好地服务于实时控制系统中经常使用的 dsPIC® 数字信号控制器(DSC......
    Microchip推出具有灵活许可选项的 MPLAB® XC-DSC 编译器; 【导读】随着工业和自动驾驶汽车市场快速发展,人们对软件工具的需求与日俱增,这些工具能够更快、更高......
    /min 开始,然后加速到其额定速度。注意输入电压如何影响速度-扭矩曲线的形状。如果负载转矩保持不变,输入电压从 100V 降低到 90V,则电机速度降低。是的,您可......
    噪声 0.01μW DSC 解析度 0.01μW DSC 精确度 0.1μW 一、曲线分析 其测试条件为PFG用量9.4mg,升温速率为10℃/min。从下图可以看出来PEG在60~80℃这个......
    Microchip推出具有灵活许可选项的 MPLAB XC-DSC 编译器,进一步扩展开发生态系统;这款新编译器专为dsPIC®数字信号控制器 (DSC)优化设计,可为实时应用定制许可选项随着工业和自动驾驶汽车市场快速......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>