为配备集成处理器的 ADAS 域控制器构建多摄像头视觉感知系统

发布时间:2023-11-21  

当我们开车穿过社区和城镇并看到孩子们在步行和骑自行车时,我们会意识到道路安全的重要性。美国国家公路交通安全管理局 (NHTSA) 2021 年的一项研究显示,在美国,平均每天有 20 名行人在交通事故中丧生——每 71 分钟就有一名行人死亡。世界卫生组织在 2022 年的一项研究中发现,每年有 130 万人因道路交通事故死亡其中一半以上是行人、骑自行车和骑摩托车的人。不幸的是,驾驶员分心是造成这些事故的主要原因之一,而这种分心的趋势似乎每年都在增加。


高级驾驶辅助系统 (ADAS) 有助于减轻驾驶分心的影响,从而为驾驶员、行人和弱势道路群体提供周全的保护。为了达到五星安全等级并满足监管要求,需要增加备用摄像头、前置摄像头和驾驶监控系统。因此,许多制造商正在改进其车辆架构,以在 ADAS 域控制器中集成各种主动安全功能。


域控制器通常需要:


• 与多种传感器连接的能力:数量、模式和分辨率。

• 用于感知、驾驶和停车应用的视觉、人工智能 (AI)和通用处理。

• 与低带宽和高速车载网络的连接。

• 功能安全和保障可防止关键器件遭到破坏。


ADAS 域控制器的处理和系统要求


对系统内存、计算性能和输入/输出 (I/O) 带宽日益增长的需求使系统设计变得更加复杂,并提高了系统成本。如今的高端 ADAS 系统使用多个不同分辨率的摄像头,并在汽车周围配备了各种雷达传感器,以提供驾驶环境的完整视图。对于从传感器收集的每组图像,AI 和计算机视觉支持的检测和分类算法都需要以每秒高帧率运行,以准确地解释场景。这给系统和软件设计人员带来了多项挑战,包括将这些传感器连接到处理系统、将其内容传输到存储器中,以及同步数据以供分类算法实时处理。


德州仪器 (TI) 的 TDA4VH-Q1 片上系统 (SoC)(如图 1 所示)集成了视觉预处理、深度和运动加速、AI 网络处理、汽车网络接口和安全微控制器 (MCU) 等功能。TPS6594-Q1 电源管理集成电路经过优化,可在需要满足汽车安全完整性等级 (ASIL) D 的应用中为 TDA4VH-Q1 供电,包括一些功能安全特性,比如电压监测、TDA4VH-Q1 SoC 的硬件错误检测,以及一个问答看门狗,用于监测 SoC 上的 MCU 是否存在导致锁定的软件错误。


 image.png

图 1:TDA4VH-Q1 SoC 的简化图


支持多摄像头视觉感知


需要提高处理器性能的 ADAS 应用示例之一是多摄像头视觉感知。在汽车周围安装摄像头可提供 360 度视野,有助于防止正面碰撞,并帮助驾驶员对盲点和邻近车道的交通和行人活动保持警惕。


Phantom AI 利用 TI 的 J784S4 处理器开源软件开发套件 (SDK),为 TDA4VH-Q1 开发了一个多摄像头视觉感知系统。Phantom AI 的 PhantomVision™ 系统为 TDA4VH-Q1 处理器提供了一整套 ADAS 功能,从符合欧盟通用安全法规到符合美国汽车工程师学会 (SAE) L2 级和 L2+ 级标准。除了车辆、弱势道路群体、自由空间、交通标志和交通信号灯检测等基本功能外,PhantomVision™ 还包括了施工区域、转向灯和尾灯检测以及基于 AI 的自我路径预测等附加功能。其多摄像头感知系统由前视、侧视和后视摄像头组合而成,可全方位覆盖车辆的 360 度视野,有助于消除盲点(图 2)。


 image.png

图 2:Phantom AI 使用的 360 度视野的摄像头位置


通过利用 TDA4VH-Q1 的高性能计算、深度学习引擎和用于信号和图像预处理的专用加速器的组合,Phantom AI 使实时操作成为可能。专用视觉预处理加速器可处理相机流水线,包括图像捕捉、色彩空间转换和多尺度图像金字塔构建。结合德州仪器的深度学习库,TDA4VH-Q1 的每秒数万亿次高速运算多核数字信号处理器和矩阵乘法辅助引擎可提供具有快速算法和最小 I/O 操作调度的高效神经网络,从而实现高精度和低延迟。在本视频中,您可以了解到使用 TDA4VH-Q1 处理器的 PhantomVision™ 系统的 ADAS 功能。


结语


为 SAE L2 级和 L2+ 级驾驶构建复杂的多传感器 ADAS 系统并不需要水冷式超级计算机。借助TI TDA4VH-Q1 这一类设计精良的 SoC,并由 Phantom AI 等专业汽车工程师进行设计和开发,可以向市场推出符合功能安全要求的高性价比系统。虽然我们对自动驾驶的未来充满热情,但设计符合功能安全要求的经济高效系统的真正目的是使我们的世界变得更加安全。使 ADAS 技术惠及更多汽车市场领域(使更多汽车配备更多 ADAS),为驾驶员和行人带来更好、更安全的体验。


其他资源


• 订购 TDA4VH-Q1 评估模块。

• 观看“汽车应用中的 Jacinto™ 处理器”视频培训系列。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    处理软件及算法。 在一个典型的机器视觉系统中,光源及光源控制器、镜头、相机等硬件部分负责成像,视觉控制系统负责对结果进行处理分析、输出分析结果。 从机器视觉全球市场格局来看,高端......
    在工业领域的应用和落地。同时,作为一家以视觉起家的企业,海康机器人的业务范围覆盖全球,涵盖移动机器人、机器视觉等领域,为客户提供工业相机、智能相机、智能读码器、视觉控制器、镜头等光学产品,以及机器视觉软件和算法平台,致力......
    PLC与视觉控制器的关系 视觉控制器的工作原理;  视觉控制器和PLC都是工业自动化控制系统中的控制器,但是它们的功能不同。视觉控制器主要用于检测、识别和定位物体,而PLC主要用于控制机械运动、输入输出信号控制......
    上大多数企业通常专注于某些特定组件,例如Cognex专注于相机和视觉控制系统,Moritex主要提供光源和光源控制器、镜头等。国内制造商如海康机器人提供镜头、相机和视觉控制系统,大恒科技主要做相机和视觉......
    机器人运动。  一个典型的机器视觉系统一般包括光源及光源控制器、镜头、相机、视觉控制系统(视觉处理分析软件及视觉控制器硬件)等,其中光源及光源控制器、镜头、 相机......
    系列基础之上,是工业自动化市场处理密集型应用的理想选择。设计智能摄像机、视觉控制器以及光学检测系统等产品的客户将充分受益于 TI C66x 多核 DSP 所提供的超高性能、整合......
    代码300124)的子公司,公司主要产品为工业机器人、工业自动化控制等产品,其中工业视觉产品是汇川技术重要的产品分支,包含机器人视觉控制器视觉软件等,目前已经应用在硅晶、锂电、食品饮料、印刷&......
    重启完成以后重新点击"系统设置"菜单,选中"以太网(无协议(UDP))"选项(图4),在这个选项中会有IP地址以及端口等参数设置。这里需要注意的是两个IP地址参数,需要填写"地址设定2"中的参数,需要填入的信息有视觉控制器......
    VPLC系列机器视觉运动控制一体机快速入门(二);今天,正运动技术为大家分享一下《VPLC系列机器视觉运动控制一体机快速入门(二)》。 上期课程,我们讲述了机器视觉的原理、优势、应用领域以及实现机器视觉......
    后的物料可以通过机器人设备转运,由机器人对接立库或直接管理成品库存,自动化管理切片成品。 海康机器人SNEC展出的部分机器视觉方案 特别要说的是,为了确保硅片质量,海康机器人还利用机器视觉......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>