智能家居的熱成像

作者：Hasan Gadjali，联合创始人兼首席运营官，以及科学家 Markov Stanislav Nikolaev 博士

Meridian Innovation Limited

为什么单一个像素不够 

有许多电子设备和家电不但会望让您的家更安全、更舒适，而且节省您的时间，让您的生活更轻松。它们可以自动执行几项琐碎的任务，也能通过连接到您的手机使这些电子设备在你的手中控制。此功能由大量数字传感器启用，这些传感器可测量空气温度和湿度、光照条件和气体，包括任何运动检测。从此类传感器提供的信息的角度来看，它们有一个共同点 — 它们是逐点的并且缺乏分辨率。例如，传统的温度或光传感器只报告房间安装那一点的温度或光强度。无法从这些传感器推断出房间里的人、他们的行为和舒适度。相比之下，视觉成像传感器具有数百万个探测器可以提供非常精细的空间分辨率。通过这种方式，它们产生了丰富的非结构化信息，用视觉图像来分析获取结构化信息（例如，门铃前是否有人，有多少人，他们是谁，等）。视觉图像传感器在智能机器人和家庭安防系统中的应用已经非常广泛。同时，新创意技术的发展也将其他多像素传感器带入家庭自动化和智能家居领域。热成像传感器也是很好的选择，有监控防止厨房火灾隐患，帮助您做饭，占用监控隐私，测量我们的舒适度，提高对老人和婴儿周围的福祉的认识。下面，我们来看几个具体案例。

智能家居的熱成像

作者：Hasan Gadjali，联合创始人兼首席运营官，以及科学家 Markov Stanislav Nikolaev 博士

Meridian Innovation Limited

为什么单一个像素不够 

有许多电子设备和家电不但会望让您的家更安全、更舒适，而且节省您的时间，让您的生活更轻松。它们可以自动执行几项琐碎的任务，也能通过连接到您的手机使这些电子设备在你的手中控制。此功能由大量数字传感器启用，这些传感器可测量空气温度和湿度、光照条件和气体，包括任何运动检测。从此类传感器提供的信息的角度来看，它们有一个共同点 — 它们是逐点的并且缺乏分辨率。例如，传统的温度或光传感器只报告房间安装那一点的温度或光强度。无法从这些传感器推断出房间里的人、他们的行为和舒适度。相比之下，视觉成像传感器具有数百万个探测器可以提供非常精细的空间分辨率。通过这种方式，它们产生了丰富的非结构化信息，用视觉图像来分析获取结构化信息（例如，门铃前是否有人，有多少人，他们是谁，等）。视觉图像传感器在智能机器人和家庭安防系统中的应用已经非常广泛。同时，新创意技术的发展也将其他多像素传感器带入家庭自动化和智能家居领域。热成像传感器也是很好的选择，有监控防止厨房火灾隐患，帮助您做饭，占用监控隐私，测量我们的舒适度，提高对老人和婴儿周围的福祉的认识。下面，我们来看几个具体案例。

安全、智能的廚房

为什么要在厨房进行热成像？简短的回答是 — 为了安全、健康和方便。事实上，根据美国国家消防协会（NPFA）的数据，烹饪是家庭火灾的主要原因，并且是此类火灾的 49% 的原因。并不是所有受影响的家庭的烟雾探测器都出现故障，而是当烟雾被探测到时，已经为时已晚，无法消除导致火灾的因素。但是热成像可以提供一种清晰的方法，通过在危险条件出现之前就识别出可能导致火灾的高温，可以减少代价高昂的损坏和事故。

在厨房中提供热成像的一种自然方式是将传感器集成到抽油烟机内以实现灶具监控。如图 1 所示 — 世界上第一款智能烹饪助手产品（安装在抽油烟机下方的铜色设备）。从那里，热像仪可以连续“看到”整个炉灶或炉子的温度分布。

许多烹饪原料对加工温度很敏感。过热它们不仅可能会耗尽流失它们的营养价值，甚至会使它们变成对我们的身体不太好有害的合成物质。有了灶台上方的热成像可以连续“读取”它们的温度并向我们显示，帮助我们制作更健康的佳肴饭菜. 

“这将我们引向了烹饪助手的概念，帮助您每次都制作健康美味的饭菜。 从本质上讲，Cooksy 使您能够分享您的烹饪食谱或遵循他人的食谱，以了解食材的烹饪时间和温度的细节 — 在整个过程中，实时进行。Cooksy 将视觉和热成像传感器与复杂的智能和连接性结合在一个易于安装在炉灶上方的设备中。 该设备可以将您的炉灶面直播到您的手机，让您“看到”烹制食材的温度，并建议您如何以及何时根据这些信息采取行动。” Cooksy Corporation 的首席财务官 Steven Cartwright 说

图1：COOKSY-PRO，全球首款智能烹饪助手(来源：Cooksy)

灶具监视器的好处不仅限于烹饪艺术和营养，还涉及厨房安全领域。例如，它可以检测到无人看管的燃气灶或过热的灶具、过热的锅碗瓢盆有或没有油、容器沸腾和溢出等。如图 2 所示，其中热成像仪随时间监测带盖子的水罐。虽然直接观测到的温度从未达到接近 沸水100 ℃ (212 ℉)，热图像处理和分析的应用可以检测水何时开始沸腾，何时从盖子下面溢出，何时瓦斯燃烧气的火被水淹灭。在智能家居和连接设备的背景下，识别此类事件不仅可以触发警报，还可以在必要时调节或停止电力或燃气供应，并防止事故或火灾的发生危险.

Visual image	Heat map	Thermal image processing
從沸騰、溢出和供應中斷的特殊事件推導出與視場中不同區域和隨時間相關的演化溫度統計數據，如綠色垂直線所示。

图2：灶具的热成像分析。 (来源：Meridian Innovation)

除了灶具监控外，热成像还可以应用在其他厨房电器 — 例如微波炉. 图 3 显示了最初由 Meridian Innovation 在 2020 年拉斯维加斯消费电子展上证明如何在微波中使用热成像(以下链接可以看到操作视频) 

图 3. 智能热成像微波炉（来源：Meridian Innovation）

如今，微波炉以固定功率在固定时间加热，附加的热成像传感单元增强了将食物加热到所需温度的能力。 这是通过采用现成的微波炉来实现的，该微波炉经过修改加了热成像和新的温度控制装置。这使我们可以在选择重新加热食物的功率和时间时，免除经常需要的猜测。 最终，我们能够通过选择所需的食物温度并将技术细节留给机器来直接传达我们的意图。这种意图可以通过无线连接的移动设备或通过集成在修改后的微波炉中的触摸屏来传达。人们很自然可以设置所需的食物温度，这样热成像传感器就可以在食物被加热的同时对其进行监测。

还有TinyML 的进步和嵌入式处理器上 AI 功能的可用性,可以整合到微波炉中，让智能猜测我们在微波炉加热时放入了什么东西，从而自动为我们选择最佳温度。 由于迫切需要及时交付用于检测高温的热像仪解决方案，导致许多合作伙伴努力为 OEM 和 ODM 提供许多参考设计。

一个很好的例子是台湾中文新闻上所发表的一篇文章 “Arrow Electronics Launches AI Thermal Sensing Solution Powered by STMicroelectronics’ X-CUBE AI”    。

下面是用我们另一个的合作伙伴“凌通科技”新的热成像方案 — 當熱傳感器遇上 AI 芯片組。

关心您的舒适的智能空调

空调和 HVAC 系统是集成热成像可以产生积极影响的另一个例子。 在许多情况下，房间温度的控制涉及空调箱中的一个简单的温度传感器 — 该传感器提供来自环境的唯一反馈。 这种类型的系统可以称为第一代，非常普遍。我们可以认为第二代是一个有智能的系统，它知道房间里是否有人，并可能识别他们在房间的哪个部分。 这可以更有效地利用空调单元，并且可以通过结合热像仪来实现对于小型公寓或酒店房间，几百到一千像素的热图像可能就足够了，而对于较大的客厅，需要几千以上像素的传感器，再加上 90+ 度的广角 镜头。一个很好的例子是图 4 所示的智能热像仪空调概念，由 Meridian Innovation 在 2019 年 9 月上海智能家居技术博览会上展示。

图 4. 智能热像仪空调（来源：Meridian Innovation）

请注意，热图像的内容不仅可以了解隔间的占用情况，还可以了解整个房间的整体温度分布。 基于这些更详细的信息，设备可以自动调节气流的温度、方向和速度，以节省能源并提高舒适度。

至于舒适度，有多种数学模型可以在人的平均皮肤温度和人的感知舒适度之间建立直接关系。 我们应该记住，空调和暖通空调系统的目的是确保居住者一定程度的舒适度和优质的室内空气质素，而不是仅仅将房间的空气冷却或加热到预设温度。 这将是我们引向了我们称之为第三代 HVAC 系统的概念。

在第三代，加热或冷却单元使用更高分辨率的热成像 - 大约 5,000 到 20,000 像素，可以获得更详细的热图像，直接测量居住者的平均皮肤温度，并估计他们的水平 舒适指数。 这些信息支持以真正的热舒适度而非温度为目标的环境控制，并将人类体验置于反馈回路的中心。第二代空调已经上市，这是因为具有成本效益的 1000 到 5000 像素红外热像仪的可用性。 我们预计热成像技术的快速发展将在 5 年内为高端机型带来第三代功能。

婴儿和老人的安全及健康

带有视频流的婴儿监视器已经上市一段时间，它们提供一种与亲友分享快乐时光或在家做事时照看孩子的好方法。 然而，与热成像不同，婴儿监视器中的视觉摄像头无法直接洞察婴儿的生理状态。 热成像可以无创地持续跟踪婴儿的体温。 体温升高是婴儿不适的常见症状。如图 5 所示，这种想法已在各地得到推广，新产品即将出现。 每个父母的愿望都是尽早发现这种症状，即使是在半夜。 因此，在创建结合了视觉和热像仪的婴儿监视器方面进行了大量的研发工作，并通过丰富的人工智能计算引擎支持两个成像传感器。这个领域提供了许多可能性。 例如，可以准确跟踪婴儿的正常体温模式 — 当婴儿健康快乐时，也会自动检测异常体温模式的发生，并在早期症状发展过程中唤起保姆或父母的注意识。 一般健康的婴儿核心体温的模式表现出显着的昼夜变化，最小值和最大值之间的差异接近 2 度。这种模式似乎对每个孩子都非常独特，并且随着儿童生理机能和汗腺的发育而缓慢演变，需要不断观察才能捕捉到这种模式。 因此，婴儿床上方的婴儿监视器似乎是观察和记录这种演变的自然场所。 除了健康状况之外，还可以在反馈回路中进一步利用热和视觉光流模式与智能手机一起为发育中的大脑创造互动游戏。 可以同时分析行为模式和相应的温度标记。 所以你在这里可以保证有 — 安全、聪明和健康的婴儿！

图 5. 智能婴儿监护（来源：5GENCARE）

热成像的健康监测也延伸到老年人。 鉴于两个重要的全球趋势 — 预期寿命延长和人口老龄化，以及独居老年人的数量增加，这一点至关重要。 热成像可以在许多方面提供帮助，从简单的温度和运动生命体征监测，一直到复杂的行为分析。老年人护理常见且重要的主题是检测甚至预防跌倒。 虽然原则上这可以通过在客厅安装摄像头来实现，但在浴室的私密空间中并非如此。 由于卫生间的风险最高，香港 LSCM 的团队推出了 5000 像素老年人监测热成像解决方案。这个分辨率对于姿态估计来说足够高，但对于具有适度计算能力的连续实时热图像处理来说足够小，最重要的是 - 保护隐私！ 该单元在本地运行复杂的算法，能够检测事故的发生、跌倒并向负责的护士或家庭成员发出事故警报。 该产品于 2019 年在日内瓦举行的第 47 届国际发明展览会上获得金奖。其他公司正在开发用于疗养院卧室的摄像头解决方案，目的在防止常见事故 — 通过检测老人何时下床，老人何时 醒着并立即通知护理人员。

當熱傳感器遇上 AI 芯片組

凌通科技是一家來自台灣的全球集成電路供應商，其以在消費產品和家用電器方面的專業而聞名。每年有數以百萬計帶有語音設備和智能相機的產品已為全球眾多業內頂級品牌公司所使用。 凌通科技銷售經理 Jacky Chen 表示, “我相信 Meridian 的热成像和 凌通的 AI 芯片組是智能家庭的完美解決方案。當 Meridian 的工程師將其熱成像模塊安裝在我們的 AI SoC 平台上時，如圖 6 所示，它是个完美的搭配。一種具有成本效益的獨立解決方案誕生了，它將溫度與音頻、視頻和圖形與卷積神經網絡 (CNN) 功能集成在一起，用於智能和人工智能應用。顯然，我們已經看到我們的客戶對這項尖端技術產生了極大的興趣，以創造更美好的明天。"

圖6 : 热成像智能評估平台 (來源：凌通科技)

结尾

热成像传感器的终极结果将会增强我们家中各种电子产品的功能和价值，解决长期存在的难题挑战，包括防止厨房火灾和老年人事故，协助烹饪或提高能源效率和舒适度。这是因为有新一代性价比高的红外热成像芯片已量产了。与此同时，我们开始看到很多参考硬件设计和软件解决方案的激增，这极大地促进了该技术的采用，并加快了包含热像仪的创新产品的开发周期。事实上，确实，这是至关重要的，Meridian联合创始人简洁地表达了Meridian Innovation是一个革命先锋的公司 一 “热成像传感器就像人的眼睛，它传递所有必要得热数据, 到背后复杂的智能装置。 “因此，这个舞台为另一个引人入胜的故事奠定了基础，在这个故事中，技术创新为人们创造促进了更安全、更美好的生活。

安全、智能的廚房

为什么要在厨房进行热成像？简短的回答是 — 为了安全、健康和方便。事实上，根据美国国家消防协会（NPFA）的数据，烹饪是家庭火灾的主要原因，并且是此类火灾的 49% 的原因。并不是所有受影响的家庭的烟雾探测器都出现故障，而是当烟雾被探测到时，已经为时已晚，无法消除导致火灾的因素。但是热成像可以提供一种清晰的方法，通过在危险条件出现之前就识别出可能导致火灾的高温，可以减少代价高昂的损坏和事故。

在厨房中提供热成像的一种自然方式是将传感器集成到抽油烟机内以实现灶具监控。如图 1 所示 — 世界上第一款智能烹饪助手产品（安装在抽油烟机下方的铜色设备）。从那里，热像仪可以连续“看到”整个炉灶或炉子的温度分布。

许多烹饪原料对加工温度很敏感。过热它们不仅可能会耗尽流失它们的营养价值，甚至会使它们变成对我们的身体不太好有害的合成物质。有了灶台上方的热成像可以连续“读取”它们的温度并向我们显示，帮助我们制作更健康的佳肴饭菜. 

“这将我们引向了烹饪助手的概念，帮助您每次都制作健康美味的饭菜。 从本质上讲，Cooksy 使您能够分享您的烹饪食谱或遵循他人的食谱，以了解食材的烹饪时间和温度的细节 — 在整个过程中，实时进行。Cooksy 将视觉和热成像传感器与复杂的智能和连接性结合在一个易于安装在炉灶上方的设备中。 该设备可以将您的炉灶面直播到您的手机，让您“看到”烹制食材的温度，并建议您如何以及何时根据这些信息采取行动。” Cooksy Corporation 的首席财务官 Steven Cartwright 说

图1：COOKSY-PRO，全球首款智能烹饪助手(来源：Cooksy)

灶具监视器的好处不仅限于烹饪艺术和营养，还涉及厨房安全领域。例如，它可以检测到无人看管的燃气灶或过热的灶具、过热的锅碗瓢盆有或没有油、容器沸腾和溢出等。如图 2 所示，其中热成像仪随时间监测带盖子的水罐。虽然直接观测到的温度从未达到接近 沸水100 ℃ (212 ℉)，热图像处理和分析的应用可以检测水何时开始沸腾，何时从盖子下面溢出，何时瓦斯燃烧气的火被水淹灭。在智能家居和连接设备的背景下，识别此类事件不仅可以触发警报，还可以在必要时调节或停止电力或燃气供应，并防止事故或火灾的发生危险.

Visual image	Heat map	Thermal image processing
從沸騰、溢出和供應中斷的特殊事件推導出與視場中不同區域和隨時間相關的演化溫度統計數據，如綠色垂直線所示。

图2：灶具的热成像分析。 (来源：Meridian Innovation)

除了灶具监控外，热成像还可以应用在其他厨房电器 — 例如微波炉. 图 3 显示了最初由 Meridian Innovation 在 2020 年拉斯维加斯消费电子展上证明如何在微波中使用热成像(以下链接可以看到操作视频) 

图 3. 智能热成像微波炉（来源：Meridian Innovation）

如今，微波炉以固定功率在固定时间加热，附加的热成像传感单元增强了将食物加热到所需温度的能力。 这是通过采用现成的微波炉来实现的，该微波炉经过修改加了热成像和新的温度控制装置。这使我们可以在选择重新加热食物的功率和时间时，免除经常需要的猜测。 最终，我们能够通过选择所需的食物温度并将技术细节留给机器来直接传达我们的意图。这种意图可以通过无线连接的移动设备或通过集成在修改后的微波炉中的触摸屏来传达。人们很自然可以设置所需的食物温度，这样热成像传感器就可以在食物被加热的同时对其进行监测。

还有TinyML 的进步和嵌入式处理器上 AI 功能的可用性,可以整合到微波炉中，让智能猜测我们在微波炉加热时放入了什么东西，从而自动为我们选择最佳温度。 由于迫切需要及时交付用于检测高温的热像仪解决方案，导致许多合作伙伴努力为 OEM 和 ODM 提供许多参考设计。

一个很好的例子是台湾中文新闻上所发表的一篇文章 “Arrow Electronics Launches AI Thermal Sensing Solution Powered by STMicroelectronics’ X-CUBE AI”    。

下面是用我们另一个的合作伙伴“凌通科技”新的热成像方案 — 當熱傳感器遇上 AI 芯片組。

关心您的舒适的智能空调

空调和 HVAC 系统是集成热成像可以产生积极影响的另一个例子。 在许多情况下，房间温度的控制涉及空调箱中的一个简单的温度传感器 — 该传感器提供来自环境的唯一反馈。 这种类型的系统可以称为第一代，非常普遍。我们可以认为第二代是一个有智能的系统，它知道房间里是否有人，并可能识别他们在房间的哪个部分。 这可以更有效地利用空调单元，并且可以通过结合热像仪来实现对于小型公寓或酒店房间，几百到一千像素的热图像可能就足够了，而对于较大的客厅，需要几千以上像素的传感器，再加上 90+ 度的广角 镜头。一个很好的例子是图 4 所示的智能热像仪空调概念，由 Meridian Innovation 在 2019 年 9 月上海智能家居技术博览会上展示。

图 4. 智能热像仪空调（来源：Meridian Innovation）

请注意，热图像的内容不仅可以了解隔间的占用情况，还可以了解整个房间的整体温度分布。 基于这些更详细的信息，设备可以自动调节气流的温度、方向和速度，以节省能源并提高舒适度。

至于舒适度，有多种数学模型可以在人的平均皮肤温度和人的感知舒适度之间建立直接关系。 我们应该记住，空调和暖通空调系统的目的是确保居住者一定程度的舒适度和优质的室内空气质素，而不是仅仅将房间的空气冷却或加热到预设温度。 这将是我们引向了我们称之为第三代 HVAC 系统的概念。

在第三代，加热或冷却单元使用更高分辨率的热成像 - 大约 5,000 到 20,000 像素，可以获得更详细的热图像，直接测量居住者的平均皮肤温度，并估计他们的水平 舒适指数。 这些信息支持以真正的热舒适度而非温度为目标的环境控制，并将人类体验置于反馈回路的中心。第二代空调已经上市，这是因为具有成本效益的 1000 到 5000 像素红外热像仪的可用性。 我们预计热成像技术的快速发展将在 5 年内为高端机型带来第三代功能。

婴儿和老人的安全及健康

带有视频流的婴儿监视器已经上市一段时间，它们提供一种与亲友分享快乐时光或在家做事时照看孩子的好方法。 然而，与热成像不同，婴儿监视器中的视觉摄像头无法直接洞察婴儿的生理状态。 热成像可以无创地持续跟踪婴儿的体温。 体温升高是婴儿不适的常见症状。如图 5 所示，这种想法已在各地得到推广，新产品即将出现。 每个父母的愿望都是尽早发现这种症状，即使是在半夜。 因此，在创建结合了视觉和热像仪的婴儿监视器方面进行了大量的研发工作，并通过丰富的人工智能计算引擎支持两个成像传感器。这个领域提供了许多可能性。 例如，可以准确跟踪婴儿的正常体温模式 — 当婴儿健康快乐时，也会自动检测异常体温模式的发生，并在早期症状发展过程中唤起保姆或父母的注意识。 一般健康的婴儿核心体温的模式表现出显着的昼夜变化，最小值和最大值之间的差异接近 2 度。这种模式似乎对每个孩子都非常独特，并且随着儿童生理机能和汗腺的发育而缓慢演变，需要不断观察才能捕捉到这种模式。 因此，婴儿床上方的婴儿监视器似乎是观察和记录这种演变的自然场所。 除了健康状况之外，还可以在反馈回路中进一步利用热和视觉光流模式与智能手机一起为发育中的大脑创造互动游戏。 可以同时分析行为模式和相应的温度标记。 所以你在这里可以保证有 — 安全、聪明和健康的婴儿！

图 5. 智能婴儿监护（来源：5GENCARE）

热成像的健康监测也延伸到老年人。 鉴于两个重要的全球趋势 — 预期寿命延长和人口老龄化，以及独居老年人的数量增加，这一点至关重要。 热成像可以在许多方面提供帮助，从简单的温度和运动生命体征监测，一直到复杂的行为分析。老年人护理常见且重要的主题是检测甚至预防跌倒。 虽然原则上这可以通过在客厅安装摄像头来实现，但在浴室的私密空间中并非如此。 由于卫生间的风险最高，香港 LSCM 的团队推出了 5000 像素老年人监测热成像解决方案。这个分辨率对于姿态估计来说足够高，但对于具有适度计算能力的连续实时热图像处理来说足够小，最重要的是 - 保护隐私！ 该单元在本地运行复杂的算法，能够检测事故的发生、跌倒并向负责的护士或家庭成员发出事故警报。 该产品于 2019 年在日内瓦举行的第 47 届国际发明展览会上获得金奖。其他公司正在开发用于疗养院卧室的摄像头解决方案，目的在防止常见事故 — 通过检测老人何时下床，老人何时 醒着并立即通知护理人员。

當熱傳感器遇上 AI 芯片組

凌通科技是一家來自台灣的全球集成電路供應商，其以在消費產品和家用電器方面的專業而聞名。每年有數以百萬計帶有語音設備和智能相機的產品已為全球眾多業內頂級品牌公司所使用。 凌通科技銷售經理 Jacky Chen 表示, “我相信 Meridian 的热成像和 凌通的 AI 芯片組是智能家庭的完美解決方案。當 Meridian 的工程師將其熱成像模塊安裝在我們的 AI SoC 平台上時，如圖 6 所示，它是个完美的搭配。一種具有成本效益的獨立解決方案誕生了，它將溫度與音頻、視頻和圖形與卷積神經網絡 (CNN) 功能集成在一起，用於智能和人工智能應用。顯然，我們已經看到我們的客戶對這項尖端技術產生了極大的興趣，以創造更美好的明天。"

圖6 : 热成像智能評估平台 (來源：凌通科技)

结尾

热成像传感器的终极结果将会增强我们家中各种电子产品的功能和价值，解决长期存在的难题挑战，包括防止厨房火灾和老年人事故，协助烹饪或提高能源效率和舒适度。这是因为有新一代性价比高的红外热成像芯片已量产了。与此同时，我们开始看到很多参考硬件设计和软件解决方案的激增，这极大地促进了该技术的采用，并加快了包含热像仪的创新产品的开发周期。事实上，确实，这是至关重要的，Meridian联合创始人简洁地表达了Meridian Innovation是一个革命先锋的公司 一 “热成像传感器就像人的眼睛，它传递所有必要得热数据, 到背后复杂的智能装置。 “因此，这个舞台为另一个引人入胜的故事奠定了基础，在这个故事中，技术创新为人们创造促进了更安全、更美好的生活。