中国学者一作，登上Nature封面！夜间成像新突破！

然而，大多数热成像系统的一大障碍是重影效应，即当来自不同物体的热信号混合在一起时，就会产生模糊不清的图像。热视觉的特异性受到信息丢失的限制，因此，即使将红外热成像技术与人工智能（AI）结合，也难以实现热成像导航的关键技术（热测距）。该技术的另一个障碍是，各种环境条件都会影响物体的温度、发射率和纹理，从而削弱模型正确识别物体的能力。

近期，美国普渡大学的Zubin Jacob团队提出了一种热辅助探测和测距（HADAR）技术实现了黑夜环境的高清成像识别，HADAR 系统使用商用红外摄像机捕捉热图像，从中提取视场中每个物体的材料属性，从而克服了传统导航和成像系统遇到的可见性问题。HADAR 系统进行的分析可揭示物体的温度、材料成分及其发出的独特热辐射模式。这样，HADAR技术就能像人眼在日光下一样，揭示黑暗中的纹理和深度，提供每个物体及其周围环境的全面 “图像”。这是一种利用热成像、物理学和机器学习来解决低能见度探测问题的突破性方法。该工作以题为“Heat-assisted detection and ranging”的文章发表于Nature上，并被选为封面论文，第一作者为鲍芳琳研究员。

重影效应问题的解决方案

在该文中，主要采用一种称为 TeX 分解的方法来解决重影效应问题，这种方法能从杂乱的热信号中生动地恢复纹理，还能在克拉梅尔-拉奥边界准确地分解温度和发射率。用 HSV 色彩空间（色调 = e、饱和度 = T、亮度 = X）表示这些杂乱无章的 TeX 属性，可将 TeX 视觉与机器感知的物理背景进行转换。TeX 视觉使人工智能算法能够达到信息论的界限，而传统的 RGB 或热视觉迄今为止还无法实现这一点。

为了解释重影效应，首先以灯泡的热辐射（可见光）进行研究。对灯泡发出的光线进行的蒙特卡罗路径追踪模拟，其中考虑了环境辐射的反射。只有当灯泡关闭时，才能看到灯泡表面的几何纹理。当灯泡打开时，反射所显示的纹理在直接发射中会完全消失，这在日常经验中是再熟悉不过的场景了。由于复杂场景中的每个物体都会发射和散射热辐射，因此它们都是没有纹理的热光源，与闪亮的灯泡类似。离开物体 α 的总热信号有两个相加部分。其中，第一项为直接热辐射（无纹理），第二项携带纹理，即从物体散射后进入探测器的环境辐射。TeX-Net 方法使用方程 设计基于物理的损耗，并使用三维卷积神经网络学习恢复纹理 X、温度 T 和发射率 e 的空间光谱特征。

HADAR 系统的深度分辨率

物体深度是自主导航的关键场景属性。日光 RGB 立体视觉技术已得到广泛应用，但红外热测距技术却难以实现。该文证明，夜间 HADAR 测距优于热测距，其深度精度可与日光下的 RGB 立体视觉相媲美。HADAR 测距方法利用的是基于 TeX 视觉的立体视觉，但为了显示纹理在测距中的重要性并更好地捕捉物理特性，在此将重点放在可通过 TeX 分解重建的散射信号上。对于简洁的汽车/行人场景，热成像技术会因 TeX 退化而丢失纹理，导致测距不准确。而 HADAR恢复的纹理与灰度光学成相当。HADAR 的测距结果与 RGB 立体视觉相当。从数量上看，与地面实况相比，沿着白色虚线的绝对测距误差显示，HADAR与热测距相比，精度提高了约 100 倍。

该文还报道了在真实场景中实验演示HADAR技术。与现有的视觉驱动感不同，该文提出了一种具有 HADAR -TeX 属性的物理驱动感知转变。使用了一个夜晚的室外场景，其中有一辆汽车、一个人和一个爱因斯坦的剪影，以从几何角度模拟人类，并说明 HADAR 如何解决幻影制动问题。RGB 光学成和稀疏激光雷达点云都无法将人体与真实比例的爱因斯坦剪纸区分开来。此外，由于反射率较低，激光雷达很难探测到黑色汽车，而光学相机则无法看到黑暗中的物体。HADAR 可以在相应的材料区域（皮肤+织物）探测到人，并将其与纸板清晰地区分开来，从而克服了幻影制动问题。

小结：该文报道了利用该材料库的数据训练了一个神经网络模型，实现高清晰红外成像。该模型旨在处理来自红外热像仪的复杂热信号，以计算场景中每个物体的温度、发射率和纹理，并从自身数据中学习，通过热信号绘制真实世界。利用这一模型，能够减轻红外成像重影效应，获得比现有人工智能增强热成像技术更清晰、更细致的热图像。因此，HADAR 重新定义了低能见度环境中的机器感知能力，并将在自主导航、医疗保健、农业、野生动物监测、地球科学和国防工业中得到应用，为第四次工业革命翻开新的篇章。

本篇文章来源于微信公众号:高分子科学前沿