VX1161助力ADAS相机视频回灌

发布时间:2023-10-24  

自动驾驶汽车和高级驾驶辅助系统(ADAS)的开发和验证是极其苛刻的过程,包括现实道路测试和详尽的实验室模拟。虽然真实世界的道路测试是发布汽车产品之前的最终步骤,但许多公司倾向于尽可能用现实的模拟或者记录的真实世界数据来代替它,可控性更强,并普遍提高测试质量和验证覆盖率。


作为ADAS系统的主传感器,相机应用的测试过程除了要验证可用性和安全性外,在开发早期还要面临大量的训练过程来改进算法。这个过程需要用构建好的道路场景库,即录制好的大量视频文件作为激励,在实验室环境回放视频流给被测设备(DUT),通常是ADAS域控制器或者中央计算自动驾驶平台。


视频回灌功能极大地简化了实验室环境中的研发和测试。例如,计算机视觉系统可以在实验室调试,根据特定的驾驶情况循环,无需额外的试驾。


1

技术要求

在回灌视频时,ECU和相机断开连接,需要一个特定的板卡来回放原始视频数据,并且保证回放的准确度和精度。

VX1161是专为高带宽数据采集和传输设计的可配置的多通道接口设备,其中面向Streaming应用的VX1161.5x系列板卡具有下述特点:


420746a2-7744-11ed-b116-dac502259ad0.png

图1 VX1161实物


1.

支持广泛的标准的摄像头接口

通常ECU和相机之间是通过串行解串技术来传输视频流,常见的串行解串协议有FPD-LINK III和GMSL2等。VX1161.5x系列具有多种型号的板卡可以接收、发送和路由不同协议的数据流,例如:

VX1161.51A 2xTAP TI954/TI953支持两路FPD-LINK III协议的视频流记录和回放;

VX1161.51C 2xTAP MX9296A/MX9295A支持两路GMSL2协议的视频流记录和回放。

2.

实时性和高带宽

在有效地复现完整的测试车辆多摄像头视频系统和车载数据总线时,通常数据量可能高达几个G,需要保证从读取文件到传输数据的高带宽,从而保证回放的时间准确度。

VX1161的10G以太网接口可以高效接收来自回灌工作站(Replay Station)的视频流。

3.

同步性

VX1161板卡支持PTP同步功能,可以实现多通道的时间同步,同时其他支持PTP的总线设备也可以在一个时间域内同步回放,确保同步传感器和总线数据回放,且抖动最小。

4.

模块化

VX1161板卡均为模块化设计,可根据使用需求灵活组合。同时VX1161板卡的回放API可以被CANoe的CAPL脚本调用,从而便于集成其它的系统测试过程。


2

视频回灌原理


4236268e-7744-11ed-b116-dac502259ad0.png

图2 视频回灌原理


通过VX1161视频回灌的基本过程如下:

1)

CANoe作为系统的主控软件

负责控制CAPL脚本的编辑和执行;

2)

CAPL脚本调用Stream Provider动态链接库中的API函数

负责加载视频文件(MF4);

连接VX1161板卡;

控制VX1161板卡开始和停止回灌;

3)

VP75xx回灌工作站(Replay Station)

负责存储和读取视频文件的视频流;

通过10G以太网将视频流输出到视频硬件板卡;

4)

VX1161作为视频回灌硬件

负责接收来自VP75xx回灌工作站的视频流;

接收来自CANoe的控制命令;

通过各个板卡的GMSL2或FPDLINKIII串行器传输视频流到ECU接收端。


视频回灌中的时间同步机制

在视频回灌中,如果涉及以下场景通常需要设计同步机制:

1)

多通道的视频同步回灌,例如自动泊车(APA)环视摄像头;

2)

在回灌视频的同时,回灌其他传感器或者ECU系统记录的数据,例如CAN总线数据等等。

VX1161在回灌时通常使用PTP同步机制(亦支持其它同步机制,如GPIO),VTSS(Vector Time Synchronization Service)同步服务确保连接在VP75xx上的多个设备可以同步到一个时间域,板卡的视频流按照PTP时间进行回放,每帧的播放时间需要在Stream Provider中计算并发送给板卡。具体过程如下:


42552e94-7744-11ed-b116-dac502259ad0.png

图3 视频回灌系统的同步连接


1)

PTP主时钟提供整个仿真系统的时间。

所有设备作为PTP从节点(Slave)被同步,包括VX1161的所有板卡,VN56xx等支持PTP功能的以太网接口卡;

其他不支持PTP的板卡可通过同步线连接到VN56xx来实现硬线同步。

2)

在开始回灌时,CANoe通过CAPL脚本从支持PTP的接口卡(如VN56xx,VX1161.41A/B)获取PTP时钟。

3)

CANoe调用并初始化Stream Provider。

4)

Stream Provider打开本地的视频回灌文件并读取图像的时间戳,通过相对时间换算每一帧图像的播放时间。

5)

VX1161.51板卡接收缓存图像和播放时间,比较PTP时间和预设的播放时间,当到达播放时间时,图像会按照CSI包送到串行器;ECU通过解串器接收视频流。

以四路回放为例,CANoe在获取当前的PTP时间后并没有控制板卡立即回放,而是缓存图像等待第一帧图像时间对齐后同时回放。

在回放后的每一帧都是对齐的,因为:

所有图像帧的第一帧启动时间是相同的;

所有通道的文件里每帧时间是对齐的;

每一个板卡的通道都同步在一个PTP时间域,板卡是按照PTP绝对时间进行回放。

每一帧的实际回放时间就是由三部分累加产生的:

Presentation time = CANoe PTP time (start replay) + delay time + MDF frame time stamp


42667fbe-7744-11ed-b116-dac502259ad0.png

图4 视频回灌系统的同步时间


3

实例解析


427e4c70-7744-11ed-b116-dac502259ad0.png

图5 回灌系统的实例


本实例通过另外一组VX1161板卡来接收回灌数据,从而模拟ECU接收视频流的过程,同时验证回灌视频的同步性。


在回灌系统中,设置VX1161.51板卡通道2和通道4为发送模式(TX only),并将其IP地址分别设为192.168.10.12和192.168.10.13,这样可以回放4路视频。这些通道都已集成CSI串行器,并配置相应的寄存器。


与之对应的,设置VX1161.51板卡通道1和通道3为接收模式(RX only),并将其IP地址分别设为192.168.20.12和192.168.20.14的,这样可以同时接收4路视频。这些通道上都已集成CSI解串器,并配置相应的寄存器。


42a20db8-7744-11ed-b116-dac502259ad0.png

图6 VX1161板卡的模式配置

42d331fe-7744-11ed-b116-dac502259ad0.png

图7 CANoe的视频回灌4路发送界面


在CANoe中通过Panel面板可以设置管理回灌板卡的IP和通道,并关联回灌的视频MF4文件。在点击Group control Start/Stop时,CANoe会触发相应的CAPL脚本控制板卡开始或停止回灌。

42f13244-7744-11ed-b116-dac502259ad0.png

图8 CANape接收4路回灌的视频界面


与此同时,CANape可以同时接收4路视频并预览图像,每个接收通道之间也是PTP同步的,这样可以判断每路视频的帧同步的情况。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>