什么是多模交互 智能座舱为什么要做多模交互

发布时间:2023-01-10  

智能座舱中新技术、新场景、新模式不断涌现,设计师需要考虑如何让驾驶员在驾驶车辆时有安全、高效、舒适的人机交互体验,多模态交互将会成为未来人机交互的主流。    


什么是智能座舱与多模态交互


跟传统座舱相比,智能座舱的“智能”主要体现在以下几个方面:   智能化:App远程控制、智能形象+语音欢迎语等;   科技性:高精地图、智能导航、疲劳监测、驾驶坐姿调整等;   易用性:多屏互联(中控屏、仪表盘)等;   安全感:底盘操控、驾乘品质感等;   人性化:自动泊车、寻找充电桩、自动充电等;   第三空间:沉浸式座舱、智能游戏等。  


 什么是多模态交互


  “多模态交互”就是融合了人的视觉、听觉、触觉、嗅觉等多种感官,计算机利用多种通信通道响应输入,并充分模拟人与人之间的交互方式。  


智能座舱中常见的模态有哪些?  


目前智能座舱的模态包括视觉、听觉、触觉、嗅觉,对应的模态在智能座舱的体现:  


视觉:HUD+仪表盘+中控+后视镜+氛围灯    

  

听觉:音乐+语音交互+警示音  

 

触觉:方向盘+按键+中控+挡位+座椅+安全带更多用于提示场景      


手势:隔空控制音量、切换歌曲、控制车窗等场景      


嗅觉:不同气味用于不同场景,疲劳场景可提神     


智能座舱常见模态的优缺点


智能座舱的大部分的信息都放在视觉通道里面,这无疑会增加驾驶员的认知负荷,单模态交互难以满足复杂的驾驶场景,各模块彼此间的关联性不强,大大降低了信息感知的价值。  

950d766a-9034-11ed-bfe3-dac502259ad0.jpg

如何实现高效、安全、易用的人机交互,避免驾驶员注意力分散,降低交互认知和改善人车交互体验是值得思考的问题。  


多模态的交互如何改善驾驶过程的安全与效率?

  

智能座舱为什么需要多模态交互


研究表明,人更习惯多模态交互,尤其高优先级消息以多模态的冗余增益可以加快处理时间,例如视觉+听觉或视觉+振动触觉警告比单模警告拥有更快响应。  


通过【多重资源理论】和【态势感知】两个模型来进行分析


多重资源理论:一个通道接收的信息是有上限的,当信息过载时,会导致人的认知负荷,从而降低效率。为避免视觉通道超负荷,可以将部分信息通过听觉通道呈现,这能有效降低司机的工作负荷。  

9538b4c4-9034-11ed-bfe3-dac502259ad0.png

态势感知:态势感知是一种感受者根据环境因素而动态、整体地理解当前情境的能力,由此可以提升对安全风险的发现识别、理解分析及响应能力,以便于做出最终的决策与行动。   比如,对新手司机来说在驾驶中,会比较关注路面,这时候如果在视觉上弹出信息,就很容易分散注意力,这就是态势感知的丧失。而通过语音或者触觉的通道去反馈,可以提高了安全性和效率。  

9553dd62-9034-11ed-bfe3-dac502259ad0.png

智能座舱多模态交互的重要性对驾驶员行为和状态进行多模监测


通过对方向盘的转向,行驶轨迹,油门的加减速,以及视觉摄像头的分析,可以判断驾驶员是否在开启ADAS系统后,处于瞌睡、疲劳、分心等脱离驾驶状态中。  


多模提示让驾驶员保持良好的态势感知


当车辆开启ACC(AdapTIve Cruise Control)功能时,车辆监测车外环境,包括其他车辆的运动状态、特定工况等,结合车内动态信息显示在AR-HUD上,比如当下时速、车距、基本车辆信息,帮助驾驶员判断前车运动轨迹,增强态势感知,降低驾驶员工作负荷,及时作出有效判断及行动。

    

智能座舱多模态交互的应用


1. 语音+视觉


语音交互在实际应用中是不可见的,如果不与其他模态进行融合,很难预判出他们发出的指令处于哪个状态。比如在进行语音命令时,它产生的状态有:唤醒-聆听-识别-播报-持续倾听,通过中控屏幕上的语音虚拟形象状态属性来区别不同阶段,可以提高驾驶员的安全感。  

9583b582-9034-11ed-bfe3-dac502259ad0.png


2. 视觉+触觉


小鹏P7打开车道辅助时,为了减少驾驶员在开车时低头看仪表盘,方向盘会通过抖动的方式来提示目前车辆压线的状态;另外,还可以通过方向盘的物理按键唤醒语音,语音虚拟形象的状态变化显示在中控屏上。  


除了常规的多模态交互以外,在广义的模态交互还包括了什么?


通过面部特征识别分析当前驾驶者的坐姿设置,自动调节座椅和方向盘高度换而言之,通过眼动追踪、心电、呼吸特征监测驾驶者是否疲劳、身体异常、分神等异常情况,进行多模态警示,来保障驾驶者的安全。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

相关文章

    质用车:车企热衷的智能座舱到底是什么?; 随着汽车产业正在从传统燃油车时代向新能源汽车时代进行变革,与之相关联的汽车座舱产业也正在向第三次技术变革迈进——智能座舱时代。各大......
    有大量时间跟大学、整车厂等讨论。 实际上现在所有的人都不知道智能座舱的将来是什么样子,这是一个句号,不是一个问号。坦率说将来座舱之内的交互、模态会是怎么样?不清楚。L4时代到来了以后,还有......
    拥有了行业内数一数二的唤醒和响应能力。 而且,NOMI这次也搭载了「可见即可说」功能。虽然如今这个功能在智能座舱行业内已经不是什么「新鲜事」了,但是焕新而来的NOMI还是带来了更便捷、高效的体验。 除了在智能......
    来看看矢量网络分析仪S11和S21是什么意思。 R&S ZVL3台式矢量网络分析仪 矢量分析仪S11和S21是什么意思? 矢量分析仪测量S参数时,经常会谈到S11、S21等。这些是什么意思? 网络......
    而言是不是内卷? 中国车企智能座舱基本上都需要缴纳“高通税”? 前面提到智能座舱是众多车企和上游配套的芯片厂家的作为进入汽车智能的切入口。“在目前情况下,智能座舱是刚需。不管什么车,燃油车也好,电动车也好,一定会有智能座舱......
    能源、智慧城市深度融合发展的超级终端。智能座舱是智能汽车各类新技术的综合应用空间,智能化技术、产品和市场相互融合、形成良性循环。发展智能座舱有助于提升产业整体竞争能力和创新能力,带动智能......
    你很绝望。” 有的对话让人想起贾登·史密斯(Jaden Smith): “一无所有是什么意思?” “就像万事俱备。” “万事俱备又是什么意思?” 有时还会阐述阴谋论: “谁是美国总统?” “巴拉克?奥巴......
    MCU 5V tolerant capability是什么意思?;以STM32F030为例,在datasheet中可以看到一句关于IO的表述:Up to 55 I/Os with 5V......
    参数(Scattering Parameters)常被简称为S参数。 二、矢量网络分析仪S11和S21是什么意思 矢量网络分析仪测量S参数时,经常会说到S11、S21等,这些是什么意思呢? 网络......
    产业已经进入决胜下半场的关键时期,智能汽车是这场竞争的核心赛道。作为实现智能汽车差异化的关键要素,智能座舱融合多种创新技术,并在不断打开更具想象力的空间。 徐建在演讲中指出,“智能座舱是......

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>