基于INTEL 11代芯片Tiger Lake 在AI 套件OPENVINO上所

发布时间:2023-10-08  

本文引用地址:

随着 5G 及发展,物流业主需要更具智慧的管理物流驾驶的系统,现行市场中仍处于安装行车记录器来进行事后究责,无法达到事前预警及驾驶行为有效的改善。本提案透过两支摄影机(车前影像及驾驶画面)进行在线影像分析,使用高效运算主机(HPC)分析车前状况及驾驶行为,当发生异常事件后,进行即时告警,并进行事件录影,透过4G/5G网路提供管理者查阅,让管理者随时检视行车状态(例如跟车过近或行人追撞危险),即时发现并修正驾驶行为异常(例如分心)。

其用途为:

· 保障驾驶安全

· 透过驾驶行为智能分析来修正驾驶行为,以保护用路人安全

解决方案

本系统特别适合应用于 运输业 的驾驶管理,我们使用:

· Intel 11 代 TigerLake Edge Computer 及 NCS2 神经棒来提供高效能的 运算

· 使用二支 Webcam 撷取车前及驾驶影像,其中车前影像进行人车物件侦测及追踪,称为 ADAS;车内影像进行驾驶人脸识别 [5]及头部姿态角追踪 [2],称为 DMS

· 当系统侦测到 驾驶行为异常时,会即时提出警示,并进行后端录影

· 车队管理者可以透过 4G/5G 路由连入检测驾驶行为 异常状况,可做驾驶行为评分依据。

在开发过程中所用软硬体如下:

硬体:

软体:

1.系统架构-开发硬体平台:Intel 11 代 TigerLake Edge Computer+ Intel® NCS2 + Webcam x2 + 路由器

本系统由两支Webcam撷取车前及驾驶座影像,至平台并将影像分流至OpenVINO平台进行AI inference,并将异常事件上传至驾驶监控平台,业主能透过驾驶监控平台得知目前驾驶状态。(图一所示)

图一 系统架构

                                         图一 系统架构

2.技术架构-OpenVINO GStreamer [4]

在串流处理,我们采用 OpenVINO 平台搭配 GStreamer 及 OpenCV 方式进行。
AI 顺向使用 OpenVINO 预训练模型 [1],主要有三类:

· 车前物件侦测及属性识别

· 人脸检测及头部姿态角追踪

· 人脸识别

影像输入,可透过 Web Camera 或 档案方式输入,Inference 后的影像输出到二路 V4L2 装置 [3]

使用 GStreamer 连接 ADAS 及 DMS 所需的预训练模型(由OpenVINO提供),将 Inference 后的结果,由 MQTT 传至团队开发的 AI 智能驾驶行为分析程式进行分析,使用 OpenCV 进行 online 贴图,并将驾使行为异常结果储存于资料库,管理者可透过 本团队开发之驾驶监控平台进行异常事件的检索。(图二所示)


图二 技术架构图

3.ADAS Pipeline

图三为 GStreamer 连接 OpenVINO Model(人、车、自行车辨识)、(人物属性辨识)、(车辆属性辨识)之 ADAS Pipeline:

图三 ADAS Pipeline

DMS Pipeline

图四为 GStreamer 连接 OpenVINO Model(头部姿态角辨识)、(人脸辨识)之DMS Pipeline:

图四 DMS Pipeline

成果介绍短片

成果介绍

· 安装模拟场景

图五  模拟场景

· ADAS 与 DMS 功能介绍及触发条件

 图六 功能介绍

· 车机画面及驾驶监控平台 – 展示说明

 图七  车机画面介绍

图八  驾驶监控平台操作步骤

· 各项Model使用CPU及VPU效能表现

                                                      图九  Model使用CPU及VPU效能

                           图十 使用 CPU 及VPU 效能图表 (因值域差异大,以 Log10 对数表示)

                                                                    图十一  装置工作详细内容

以下概略说明主要硬体的使用方式及整合后系统效能的表现,其中CPU 占比最高,功能包含:

· 负责两项 AI 功能:车前物件侦测与追踪,及驾驶头部姿态角

· 应用端的逻辑及 online OSD 贴图

· 网页服务器及资料库

GPU 提供车机影像的显示,NCS2 神经棒负责第三个AI的功能:人脸侦测与识别。

输入资料量为两只 Web Camera 摄影机,其分辨率为 752×416@30 FPS,整合后的系统效能,张数大约落在 15~25 张。

本系统能即时分析辅助驾驶并让业主了解驾驶行为表现,可以进行员工教育,提升驾驶素质,保障驾驶及用路人的生命安全。

文章来源于:电子产品世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>