酷芯CTO沈泊畅谈AI芯片市场现状与发展趋势中,曾表示“车载领域是作为视觉AI芯片应用方向增速最快的市场,因为不管是家用车还是商用车,新出车型基本都会装备一个到多个摄像头”。确实,利用酷芯主控实现的智能车载后装AI MDVR设备需求量持续增长,而360°全景环视AVM作为目前智能车载系统中最热门的应用之一,新车搭载率也在逐步提升。
什么是360°全景环视AVM系统?
AVM系统,通过安装在车辆的多个超广角摄像头,利用算法对各路摄像头输入视频进行畸变校正和无缝拼接合成处理,形成一幅360°超宽视角的全景融合车辆周边鸟瞰图,并通过车载显示屏幕实时显示,让驾驶员视野更开阔,彻底消除视野盲区,保障行车安全。
酷芯CTO沈泊畅谈AI芯片市场现状与发展趋势中,曾表示“车载领域是作为视觉AI芯片应用方向增速最快的市场,因为不管是家用车还是商用车,新出车型基本都会装备一个到多个摄像头”。确实,利用酷芯主控实现的智能车载后装AI MDVR设备需求量持续增长,而360°全景环视AVM作为目前智能车载系统中最热门的应用之一,新车搭载率也在逐步提升。
什么是360°全景环视AVM系统?
AVM系统,通过安装在车辆的多个超广角摄像头,利用算法对各路摄像头输入视频进行畸变校正和无缝拼接合成处理,形成一幅360°超宽视角的全景融合车辆周边鸟瞰图,并通过车载显示屏幕实时显示,让驾驶员视野更开阔,彻底消除视野盲区,保障行车安全。
图源网络
面对不断升级的图像市场应用需求,360°全景环视AVM系统对于视觉AI芯片的视频图像处理能力和算力要求一再提升。酷芯专注于对画质和算力要求较高的中高端应用市场,针对车载领域推出的AR9341 AVM方案,除多路视频无缝全景拼接外,还可实时检测全车周围行人、机动车和障碍物,感知其移动方位和距离。
系统框图
4/8-CAM AVM-MDVR
支持8路AHD 摄像头输入
支持8路1080P 30fps视频编码
4Tops 超强算力,支持网络多优先级运行
XM6 DSP 可加速特殊网络算子
支持QT/MiniGui/HassUI等UI渲染硬件优化,支持多画面分割显示
支持千兆以太网口、3路USB2.0口、2路SD卡
4~6路1080p环视拼接,同时支持BSD,ADAS,DMS等各类算法适配
AR9341 AVM方案优势
超高清画质,细节尽显
通过安装在车辆四周的多枚超高清摄像头,实时采集车辆四周影像。酷芯AVM方案搭载的AR9341平台集成自研第二代HiFi-ISP技术,在2D降噪、3D降噪、HDR等各方面达到行业领先水平,让拍摄的画质呈现更清晰。
自研高性能NPU,强算力支持
AR9341集成酷芯自研NPU,具备4TOPS@INT8峰值算力,并配有4核ARM A53 CPU。支持int8、int16以及混合量化精度、非对称量化,以及分通道量化等技术,运算精度显著优于市场上同等芯片。同时AR9341利用压缩、多层次缓冲、计算重排等技术,为芯片打造高效互联结构,大幅降低数据传输负载,冲破了带宽瓶颈,在相同的DDR带宽条件下大幅度提高实际运算能力,实现了酷芯芯片真4T算力性能。
大广角画面无缝拼接,视觉效果更佳
支持4~6路1080P环视拼接,摄像头采集的超广角图像经过局部畸变校正,结合硬件加速渲染显示技术,可以得到校正投影后的图像,便于全面监控车辆前、后、左、右包括车内的行驶画面。
客户实测画面
搭载ADAS、BSD和DMS功能,驾驶更安心
酷芯AVM方案还配备了ADAS辅助驾驶、BSD盲区检测和DMS驾驶员行为检测算法。ADAS算法提供了车距过近预警、前车碰撞预警、前车启动提示、车道偏离提示、行人机动车碰撞预警等功能;BSD算法可实时监测驾驶员视野盲区,精准识别车辆四周盲区范围内的行人及非机动车辆,对危险情况进行判断并发出警告,避免意外发生;DMS算法可对驾驶员进行疲劳检测、分心检测、吸烟检测、身份认证等,大大提升了驾乘体验感与安全系数,为行车安全保驾护航。
酷芯AR9341 360°智能全景环视AVM方案已获多家客户实测认可,落地量产近在眼前。其强大的视频处理能力和算力远超车载领域现有同类方案,其优异的性能与适用性更将助力客户产品在多种应用场景脱颖而出。
图源网络
面对不断升级的图像市场应用需求,360°全景环视AVM系统对于视觉AI芯片的视频图像处理能力和算力要求一再提升。酷芯专注于对画质和算力要求较高的中高端应用市场,针对车载领域推出的AR9341 AVM方案,除多路视频无缝全景拼接外,还可实时检测全车周围行人、机动车和障碍物,感知其移动方位和距离。
系统框图
4/8-CAM AVM-MDVR
支持8路AHD 摄像头输入
支持8路1080P 30fps视频编码
4Tops 超强算力,支持网络多优先级运行
XM6 DSP 可加速特殊网络算子
支持QT/MiniGui/HassUI等UI渲染硬件优化,支持多画面分割显示
支持千兆以太网口、3路USB2.0口、2路SD卡
4~6路1080p环视拼接,同时支持BSD,ADAS,DMS等各类算法适配
AR9341 AVM方案优势
超高清画质,细节尽显
通过安装在车辆四周的多枚超高清摄像头,实时采集车辆四周影像。酷芯AVM方案搭载的AR9341平台集成自研第二代HiFi-ISP技术,在2D降噪、3D降噪、HDR等各方面达到行业领先水平,让拍摄的画质呈现更清晰。
自研高性能NPU,强算力支持
AR9341集成酷芯自研NPU,具备4TOPS@INT8峰值算力,并配有4核ARM A53 CPU。支持int8、int16以及混合量化精度、非对称量化,以及分通道量化等技术,运算精度显著优于市场上同等芯片。同时AR9341利用压缩、多层次缓冲、计算重排等技术,为芯片打造高效互联结构,大幅降低数据传输负载,冲破了带宽瓶颈,在相同的DDR带宽条件下大幅度提高实际运算能力,实现了酷芯芯片真4T算力性能。
大广角画面无缝拼接,视觉效果更佳
支持4~6路1080P环视拼接,摄像头采集的超广角图像经过局部畸变校正,结合硬件加速渲染显示技术,可以得到校正投影后的图像,便于全面监控车辆前、后、左、右包括车内的行驶画面。
客户实测画面
搭载ADAS、BSD和DMS功能,驾驶更安心
酷芯AVM方案还配备了ADAS辅助驾驶、BSD盲区检测和DMS驾驶员行为检测算法。ADAS算法提供了车距过近预警、前车碰撞预警、前车启动提示、车道偏离提示、行人机动车碰撞预警等功能;BSD算法可实时监测驾驶员视野盲区,精准识别车辆四周盲区范围内的行人及非机动车辆,对危险情况进行判断并发出警告,避免意外发生;DMS算法可对驾驶员进行疲劳检测、分心检测、吸烟检测、身份认证等,大大提升了驾乘体验感与安全系数,为行车安全保驾护航。
酷芯AR9341 360°智能全景环视AVM方案已获多家客户实测认可,落地量产近在眼前。其强大的视频处理能力和算力远超车载领域现有同类方案,其优异的性能与适用性更将助力客户产品在多种应用场景脱颖而出。