热辅助检测和测距技术可提高图像的清晰度和细节

发布时间:2024-06-20  

如果自动驾驶汽车和机器人要想安全高效,就需要感知周围环境。他们还需要能够预测周围物体的行为——无论是其他机器人、车辆,甚至是人——并规划他们的路径的同时做出相应的决定。换句话说,他们需要机器视觉。


传统上,机器视觉是通过相机和传感器(包括雷达、声纳和激光雷达)的组合来实现的。但机器视觉通常也依赖于热量。普渡大学电气和计算机工程教授Zubin Jacob说:“热辐射来自所有温度为非零的物体。树叶、树木、植物、建筑物——它们都在发射热辐射,但这是不可见的红外辐射,我们的眼睛和传统相机看不到。” 由于热浪不断散射,红外相机生成的图像缺乏材料特异性,导致图像模糊不清,如“幽灵般”,没有深度或纹理。


作为“幽灵”图像的替代方案,Jacob和他在普渡大学和密歇根州立大学的同事开发了一种热辅助检测和测距(heat-assisted detection and ranging,HADAR)技术,该技术可以解决杂乱的热信号,以“查看”纹理和深度,从而提高图像的清晰度和细节。在一项概念验证实验中,他们证明了夜间的HADAR测距与白天的RGB立体视觉一样好。

人类在白天或光线充足的环境中可以看到丰富多样的颜色、纹理和深度,但即使在昏暗或黑暗的情况下,也有大量的热光子在周围反弹。Jacob说,尽管人类看不到它,但这种情况并不限制于机器,所以我们需要开发新的传感器和新的算法来利用这些信息。

在他们的实验中,研究人员选择了一个沼泽地的户外空间,远离道路和城市照明。他们收集了近100个不同频率的红外光谱中的热图像。正如RGB图像中的每个像素都由三个可见频率编码(R代表红色,G代表绿色,B代表蓝色)一样,实验中的每个象素都标记有三个热物理属性,即TeX——温度(T)、材料指纹或发射率(e)以及纹理或表面几何形状(X)。Jacob说:“人们对T和e有相当好的理解,但关于纹理的关键见解实际上是在X中。”这三个输出构成了HADAR算法对物体和环境的物理描述。

HADAR算法根据估计得到的温度、发射率和深度,重建出物体和环境的纹理、形状和颜色。纹理是根据发射率的差异生成的;形状是根据深度的变化生成的;颜色是根据温度的范围生成的。这三个重建结果构成了HADAR算法对物体和环境的视觉呈现。

最终,HADAR算法能够从热图像中分离出物体和环境的物理属性,从而消除幽灵效应,提高图像的清晰度和细节。HADAR算法不仅能够在黑暗中看见物体的轮廓和热量,还能够看见物体的温度、材质和纹理,就像在白天一样。

Jacob补充道,HADAR技术能够提供更好的适应性,不受光照条件的限制,能够在黑暗或低能见度的环境中正常工作。此外,在激光雷达、声纳或雷达等主动方法中,如果场景中有很多代理,它们之间可能会有很多串扰。

Jacob说,HADAR作为一项新技术,还处于相当初级的阶段。目前,数据收集几乎需要一分钟的时间。相比之下,例如,夜间驾驶的自动驾驶汽车需要在几毫秒内对周围环境进行成像。此外,数据收集所需的相机体积庞大、价格昂贵且耗电。所以现阶段非常适合科学演示,但不适合广泛采用。研究人员目前正在研究这些问题,Jacob预测,未来几年的研究将致力于解决这些。

然而,Jacob说,有一些应用是可以立即实现的,比如夜间野生动物监测。另一个不需要毫秒决策能力的地方是一些医学应用,例如测量人体上的温度梯度。他还表示:“现在最大的挑战是硬件的改进,我们可以将先进的算法融入其中。” 他预测,下一代相机将是高速、紧凑的,可以在室温下工作,因此需要全新的材料。


文章来源于:电子工程世界    原文链接
本站所有转载文章系出于传递更多信息之目的,且明确注明来源,不希望被转载的媒体或个人可与我们联系,我们将立即进行删除处理。

我们与500+贴片厂合作,完美满足客户的定制需求。为品牌提供定制化的推广方案、专属产品特色页,多渠道推广,SEM/SEO精准营销以及与公众号的联合推广...详细>>

利用葫芦芯平台的卓越技术服务和新产品推广能力,原厂代理能轻松打入消费物联网(IOT)、信息与通信(ICT)、汽车及新能源汽车、工业自动化及工业物联网、装备及功率电子...详细>>

充分利用其强大的电子元器件采购流量,创新性地为这些物料提供了一个全新的窗口。我们的高效数字营销技术,不仅可以助你轻松识别与连接到需求方,更能够极大地提高“闲置物料”的处理能力,通过葫芦芯平台...详细>>

我们的目标很明确:构建一个全方位的半导体产业生态系统。成为一家全球领先的半导体互联网生态公司。目前,我们已成功打造了智能汽车、智能家居、大健康医疗、机器人和材料等五大生态领域。更为重要的是...详细>>

我们深知加工与定制类服务商的价值和重要性,因此,我们倾力为您提供最顶尖的营销资源。在我们的平台上,您可以直接接触到100万的研发工程师和采购工程师,以及10万的活跃客户群体...详细>>

凭借我们强大的专业流量和尖端的互联网数字营销技术,我们承诺为原厂提供免费的产品资料推广服务。无论是最新的资讯、技术动态还是创新产品,都可以通过我们的平台迅速传达给目标客户...详细>>

我们不止于将线索转化为潜在客户。葫芦芯平台致力于形成业务闭环,从引流、宣传到最终销售,全程跟进,确保每一个potential lead都得到妥善处理,从而大幅提高转化率。不仅如此...详细>>