ALTUM多光谱相机（如何利用多光谱成像搜寻“被困人员”？）

长三角G60激光联盟导读

西班牙马德里理工大学Christyan Cruz Ulloa研究团队开发了一种多光谱成像和人工智能相结合的自主机器人系统，该系统能够在坍塌的建筑物和难以进入的灾后环境中搜寻被困人员。相关研究以“Autonomous victim detection system based on deep learning and multispectral imagery”为题发表在《Machine Learning: Science and Technology》期刊上（DOI 10.1088/2632-2153/acb6cf）。

土耳其、土耳其南部靠近叙利亚边境地区发生强烈地震，据土耳其和叙利亚的政府及救灾机构公布的数据，强震已造成两国超过2.8万人遇难。电子技术和感知技术的进步使得功能强大的光学传感器能够捕捉人类捕捉不到的光谱，该技术应用于助力灾后搜救工作。

安装多光谱摄像头(顶部银色部分)的四足智能搜寻机器人

该系统使用了一个MicaSense公司开发的Altum多光谱相机，尺寸为0.82 m×0.67 m×0.67 m、重量为357 g，可在五种波长下工作（红、绿、蓝可见光；近红外；还有红边灯）。该摄像机安装在一个遥控四足机器人上，可以部署在倒塌的建筑物等危险环境中，研究结果表明，自动检测受害者的效率可达92%。

这项研究是作为TASAR项目(先进搜索和救援机器人团队)开发的，该项目的重点是使用地面搜索和救援(SAR)机器人进行援助和救灾。

图1：机器人系统开发所使用的材料。为采集数据，创建了两种灾后场景(室内和室外)(图1(b))。数据采集使用远程操作的四足机器人，并固定Altum摄像机(室外图1(c) -室内图1(d))。图像周期性地存储在内存中，周期为1秒。

调整捕获的多光谱图像

Python和OpenCV库已用于图像处理。图2(a)显示了Altum相机在灰度范围内捕获的多光谱波段示例，像素强度范围为[0-255]。图2(b)和(c)中的图像是相机的RGB重叠的结果。一些关键点或特征点用于执行校正参数(图2(d))。

图2:经过调整和未经过调整的数据集图像示例。

图3：显示了在室内和室外场景中的相应应用。常用的NDVIIndex、GNDVI Index、OSAVI Index 、SIPI Index指标作为识别被困人员的周围环境的信息检测。

图4：显示了两张包含裸露躯干的被困人员图像的标记过程，使用Roboflow标记。

卷积神经网络（CNN）

CNN是一类包含卷积计算且具有深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的代表算法之一。

一旦研究小组确定了一个适用于在废墟背景下进行室内和室外人员识别的指标，下一步就是训练开发几个卷积神经网络(CNN)来识别废墟中的人体形态，例如躯干、头部和手。研究人员随后比较了不同CNN的效果。这使得他们能够为这个应用程序选择最好的CNN——一个名为YOLOv5m的CNN。

研究人员随后将他们的原型技术与之前的系统进行了比较，后者倾向于使用红-绿-蓝或红外成像来定位受害者。他们得出的结论是，他们的多光谱系统在室内和室外环境中定位人时具有更大的通用性。

图5:YOLOv5模型的评估。YOLOv5的四种型号根据尺寸(小、中、大、xl)分别称为“s”、“m”、“l”和“xl”。

图6:6-10指标的被困人员与环境的相对差异。

图7(a)显示了所选CNN模型和用InV d生成的图像的混淆矩阵，对最佳模型(YOLOv5m)进行评估，并用于推理。(b)显示了精度-召回率曲线，其中精度在平均值为0.81时下降。这条曲线在它的区域下包围了大量的区域，接近所有类别的矩形，除了“手”之外。

图8显示了对新图像的检测结果。不同颜色的包围框被放置在已确认的被困人员的部分。标记和检测百分比[0-1]与包围框一起放置。

图8：用Index 8检测后处理图像中不同环境下的被困人员。

图8(a)和(b)显示了室外场景。第一个案例对应的被困人员躯干被遮盖，她的腿被正确识别到，效率超过92%。在第二个案例中，一名受害者的腿被碎石覆盖。头部，躯干，受害者和手被正确识别到。在这些类别中，最容易辨认的是头部和躯干。(c)和(d)对应于室内场景。在第一个案例中，一个被遮盖的受害者显示在躯干区域。在这种情况下，所有平均检测效率为89%且错误对应“Hand”的标签都被识别出来。第二个案例显示了类的正确识别，平均效率大于91%。

与以往检测方法的比较

图9显示了检测受害者时可能出现的潜在情况的径向比较，这些情况以百分比进行了评估。