在跟很多仿真公司的专家及其下游用户交流的过程中，我们了解到，当下，自动驾驶的仿真，最难的环节之一是传感器的建模。

按智行众维CTO李月的说法，传感器建模可分为功能信息级建模、现象信息级/统计信息级建模及全物理级建模几个级别。这几个概念的区别如下——

功能信息级建模简单地描述摄像头输出图像、毫米波雷达在某个范围内探测目标这些具体功能，主要目的在于测试验证感知算法，但对传感器本身的性能并不关注；

现象信息和统计信息级建模是混合的、中间层级的建模，它包括一部分功能信息级建模，也包括一部分物理级建模；

全物理级建模，指对传感器工作的整个物理链路做仿真，其目标在于测试传感器本身的物理性能，比如，毫米波雷达的滤波能力如何。

狭义上的的传感器建模拟特指全物理级的建模。这种建模，很少有公司能做好，具体原因如下：

1.图像渲染的效率不够高

从计算机图形成像原理看，传感器模拟包括光线（输入、输出模拟）、几何形状、材质模拟、图像渲染等模拟，而渲染能力和效率的差别则会影响到仿真的真实性。

2. 传感器的类型太多&模型精度、效率和通用性的“不可能三角”

仅有单个传感器的精度高还不够，你还需要所有的传感器都能同时达到一个理想的状态，这就要求建模有很广的覆盖度，但在成本压力下，仿真团队显然不可能对激光雷达做10个、20个版本的建模吧？ 另一方面，又很难用一个通用的模型去将各种不同款式的传感器表达出来。

模型的精度、效率和通用性是一个“不可能三角”的关系，你可以去提升其中的一面或者两个角两面，但你很难去持续性地把三个维度同时提升。当效率足够高的时候，模型精度一定是下降的。

车右智能的仿真专家说：“再复杂的数学模型也可能只能以99%的相似度模拟真实传感器，而这剩下的1%可能就是会带来致命问题的因素。”

3.传感器建模受制于目标物的参数

传感器仿真需要外部的数据，即外部环境数据跟传感器有强耦合，然而，外部环境的建模其实也挺复杂的，并且成本也不低。

城市场景下建筑物的数量太多，这会严重消耗用来做图像渲染的计算资源。有的建筑物会遮挡路上的车流、行人及其他目标物体，而有遮挡没遮挡，计算量是完全不一样的。

此外，目标物的反射率、材质，很难通过传感器建模搞清楚。比如，可以说一个目标是个桶状的，但它究竟是铁桶还是塑料桶，这个很难通过建模来表达清楚；即使能表达清楚，要在仿真模型中把这些参数调好，又是一个超级大的工程。

而目标物的材质等物理信息不清楚的话，仿真的模拟器就难以选择。

4.传感器的噪声加多少很难确定

某Tier 1仿真工程师说：

“深度学习算法识别物体是一个从真实世界的传感器数据收集到信号去噪的过程，相比之下，传感器建模则是要在理想的物理模型的基础上合理地加入噪声，而其难点就在于噪音如何加得才能跟真实世界足够接近，以便既能让深度学习模型识别出来，又能有效提升模型识别的泛化。”

言外之意，仿真生成的传感器信号既要跟真实世界中的传感器信号“足够像”（能识别出对应物体），又不能“太像”（模拟corner case让感知模型能在更多情况下实现识别——泛化）。然而，问题在于，在真实世界中，传感器的噪音在很多情况下是随机的，这意味着，仿真系统如何去模拟这些噪音，是一个很大的挑战。

从传感器原理的角度看，相机建模的过程中还需要做相机模糊化（先生成理想的模型，然后加噪音）、畸变模拟、暗角模拟、颜色转换、鱼眼效果处理等而以激光雷达模型也可分为理想点云模型（步骤包括场景裁剪、可见判断、遮挡判断和位置计算）、功率衰减模型（包括对接受激光功率、反射激光功率、反射天线增益、目标散射截面、接口孔径、目标距离、大气传输系数、光学传输系数等子的设定）和考虑天气噪点的物理模型等。

5.资源的限制

智行众维CEO安宏伟提到了资源对感知虚拟仿真的限制：

“我们要对传感器做完全的物理级建模，比如摄像头的光学物理参数等都要清楚，还需要知道目标物（感知对象）的材质、反射率等数据，这个工程量巨大——在有足够人力的情况下，一公里场景的建设周期需要差不多1个月。即使真能建好，模型的复杂度也极高，很难在当前的物理机上跑起来（实在太耗费算力了）。”

“未来，仿真都是要上云的，看起来，云端的算力‘无穷无尽’，但具体分摊到某个单一节点的单一模型上，云端的计算能力可能还不如物理机——并且，在物理机上做仿真时，如果一台机器的计算资源不够，可以上三台，一台负责传感器模型，一台负责动力学，一台负责规控，但在云上跑仿真， 能用在单一场景单一模型上的算力并不是无穷无尽的，那么这个就限制了我们这个模型的复杂度。”

6.仿真公司很难拿到传感器的底层数据

全物理级建模需要把传感器的各种表现都用数学模型构建出来。比如，将信号接收器的某个具体性能、传播路径（中间受空气的影响、反射折射的整个链路）用数学公式表达出来。然而，在软硬件尚未真正解耦的阶段，传感器内部的感知算法是个黑盒子，仿真公司无法了解算法究竟是个什么样子。

全物理建模需要获取传感器元器件（如CMOS芯片、ISP）的底层参数，对这些参数做建模，而且，还需要知道传感器的底层物理原理，并对激光雷达的激光波、毫米波雷达的电磁波做建模。

对此，有一位仿真专家说：“要做好传感器建模，得深刻理解传感器的底层硬件知识，基本上相当于要知道怎么设计一款传感器。”

然而，传感器厂商一般不愿意开放底层数据。

智行众维CTO李月说：“这些底层参数你如果拿到了，拿着它去做建模，那你基本上就能把这个传感器造出来了”

智行众维CEO安宏伟说：“通常主机厂在和传感器供应商打交道的时候，不要说拿到材质物理参数这些细节，能拿到接口协议就已经很不容易了。如果主机厂足够强势，传感器供应商也积极配合，他们可以拿到接口协议，但也不是全部。连主机厂都很难拿到的东西，仿真公司就更难了。”

事实上，传感器的物理级仿真是只能由传感器厂商去自己去做的。国内很多传感器厂商更多地外采芯片等零部件来做集成，因此，能对做传感器物理级仿真的，实际上是TI、恩智浦这些上游供应商。

某商用车无人驾驶公司的仿真工程师说：“传感器的仿真难做，导致传感器选型的过程很复杂。我们要做传感器选型，基本上都是传感器公司先把样件寄给我，我们再把各种类型的都装上到车上去测试。 如果传感器厂商能跟仿真公司合作，他们之间就可以把接口全部拉通，提供精准的传感器建模，那我们就可以以很低的成本获知传感器的信息，做传感器选型的工作量会大幅度减少。”

不过，51 World CTO鲍世强的说法是：“感知仿真现在还处在初期，还远远没做到需要把传感器里边的建模搞得那么精细的阶段。把传感器里边拆开建模那些东西，我觉得毫无意义。”

此外，按某无人驾驶公司仿真负责人的说法，传感器仿真做不了，并不等于感知的仿真完全做不了。

比如，硬件在环（HIL）可以接入传感器实物（传感器和域控制器，都是实物）来测试。接入传感器实物，既可以测试感知算法，也可以测试传感器本身的功能和性能。这种模式下，传感器是真实的，相比于传感器仿真，仿真精确度更高。

但由于涉及到配套硬件，集成起来复杂，而且这种方式依然需要传感器模型来控制环境信号的生成，成本也更高，因而，实践中很少使用这种方法。

附：自动驾驶仿真测试的两个阶段（摘自公众号“车路慢慢”在2021年3月26日推送的文章《自动驾驶虚拟仿真测试介绍》）

考虑到近期的实际情况，自动驾驶仿真大致要分为两个发展阶段（当然这两个阶段可能并没有明显的时间界限）。

（1）阶段一：

在试验室和封闭试验场内对传感器的感知识别模块进行测试，在虚拟仿真环境对决策控制模块进行测试，仿真环境直接向决策控制模块提供目标列表。

这主要是因为目前对传感器的建模还有很多局限，从而不能进行有效（甚至是正确）的仿真。比如摄像头输出的图片较容易仿真，但是污渍、强光等特性仿真难度较大；而对于毫米波雷达如果建立精度较高的模型，则计算速度较慢，不能满足仿真测试的需求。

在试验室和封闭试验场可以对测试环境进行完整的控制和数据记录。比如布置不同类别、位置和速度的行人和车辆，甚至可以对雨、雪、雾和强光的环境要素进行模拟，并将传感器处理输出的目标列表与真实环境进行对比，从而给出对感知识别模块的评估结果和改进建议。

这么做的好处是，在传感器建模有很多局限的情况下，依然能够在仿真环境下对决策控制模块进行测试，提前享受仿真测试的优势。

（2）阶段二：

在虚拟仿真环境进行高精度的传感器建模，从而对完整的自动驾驶算法进行测试。

这样不仅可以在同一环境下进行测试，从而提高测试效率、测试场景覆盖率和复杂度；而且可以对一些基于AI的算法进行端到端的测试。

这一阶段的难点，一方面是前面提到的满足测试需求的传感器建模，另外一方面是不同传感器厂家和OEM厂家直接交互的接口很可能不一致（有些情况下可能并不存在）。