SLAM论文速递【SLAM—— MISD-SLAM:面向动态环境的多模态语义SLAM】—4.12（3）

论文信息

题目：

MISD-SLAM:Multimodal Semantic SLAM for Dynamic Environments
MISD-SLAM:面向动态环境的多模态语义SLAM

论文地址：

https://www.hindawi.com/journals/wcmc/2022/7600669/

发表期刊：

Wireless Communications and Mobile Computing/

2022/
Article

标签

改进ORB-SLAM3、语义+几何去除动态点

摘要

本文提出一种新的多模态语义SLAM系统(MISD SLAM)，去除环境中的动态对象，并重建具有语义信息的静态背景。MISD-SLAM建立了三个主要过程:实例分割、动态像素去除和语义3D地图构建。实例分割网络用于在实例级别提供周围环境的语义知识。直接删除预定义动态对象上的ORB特征。通过这种方式，MISD-SLAM有效地降低了动态物体的影响，提供了精确的位姿估计。然后，结合多视角几何约束和K-means聚类算法，去除未定义但运动的像素;同时，重建具有语义信息的三维稠密点云图，在不受动态对象破坏的情况下恢复静态背景。最后，在TUM RGB-D数据集和真实的动态室内环境中，将MISD-SLAM与ORB-SLAM3和最新的动态SLAM系统进行对比。实验结果表明，该方法显著提高了定位精度和系统鲁棒性，特别是在高动态环境下。

与以往工作不同的是，MISD-SLAM结合了多视角几何约束方法和K-means聚类算法，降低了动态像素对静态背景地图重建的影响。在公开数据集和真实环境下的实验结果表明，该方法在动态室内场景下具有较高的准确性和鲁棒性。

内容简介

本文的主要贡献如下:
(1)提出了一种室内动态环境下的多模态语义视觉SLAM系统(MISD-SLAM)，显著提高了位姿估计的精度，在室内动态场景下具有更强的鲁棒性。
(2)提出了一个实时实例分割模块，在为动态物体评估提供语义知识的同时，尽可能多地保留静态特征，提高了动态环境下的鲁棒性。
(4)通过在TUM RGB D数据集[17]和真实世界动态环境检测和语义地图重建上与最先进的视觉SLAM系统进行比较，评估了MISD-SLAM在精度和鲁棒性方面的高性能。
(3)提出了一种通过检测和去除动态的鲁棒跟踪策略特征融合了语义信息，不仅降低了动态物体对姿态估计的影响，提高了姿态估计的准确性

在本节中，我们将介绍MISD-SLAM的技术细节。图2展示了系统的架构。在ORB-SLAM3[6]上建立了MISD-SLAM，这是最新颖的基于特征的视觉SLAM系统之一，在许多数据集和真实世界场景中表现令人印象深刻。MISD-SLAM构建了三个新流程:(i)实例分割，基于预训练网络，检测和分割不同的实例，以提供周围环境的语义知识;(ii)动态像素去除，通过实例分割网络检测到的预定义动态对象中，去除ORB特征，并结合多视图几何约束和K -means聚类算法，去除未被精细但运动的像素，以提高变化环境中的准确性和鲁棒性地图构建将实例分割网络获得的语义知识与几何结构相结合，在全局上构建语义三维稠密点云图

结论

本文提出一种新的多模态语义SLAM系统(MISD-SLAM)，可以在动态环境中鲁棒地执行，并构建语义3D点云图。MISD-SLAM建立了三个主要过程:实例分割、动态像素去除和语义3D地图构建。引入了一个实例分割网络[15]来提供周围舍入环境的语义知识。直接删除预定义动态对象上的ORB特征。通过这种方式，MISD-SLAM有效地降低了动态物体的影响，提供了精确的位姿估计。然后，结合多视角几何约束和K-means聚类算法，去除未定义但运动的像素;同时，重建具有语义信息的三维稠密点云图。此外，在TUM RGB-D数据集[17]和真实场景上进行了实验，以评估MISD-SLAM的性能。实验结果表明，与ORB SLAM3[6]和其他SLAM系统相比，该方法显著提高了定位精度和系统鲁棒性，特别是在高动态环境下。然而，MISD-SLAM存在一定的局限性。首先，动态对象的处理不够灵活，因为对象可能在某些帧中是静态的，而在另一些帧中是动态的。二是RGB-D相机的深度范围受限，限制了其在更大场景中的应用。未来MISD SLAM的发展将集中在优化重建地图中动态物体移除策略和提高实时性上。此外，我们将采用惯性测量单元(IMU)来扩大在更大环境中的应用范围。