1 江苏科技大学 计算机学院， 江苏镇江22000
2 南京大学 计算机软件新技术国家重点实验室， 江苏南京10046
为了提高动态场景RGB-D SLAM中相机位姿精度，基于实例分割与光流算法，提出一种高精度RGB-D SLAM方法。首先，通过实例分割算法检测出场景中的物体，删除非刚性物体并构造语义地图。接着，通过光流信息计算运动残差，检测场景中动态刚性物体，并在语义地图中追踪这些动态刚性物体。然后，删除每一帧中非刚性物体和动态刚性物体上的动态特征点，利用其他稳定的特征点优化相机位姿。最后，通过TSDF模型重建静态背景，并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明，本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明，保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明，本文方法在动态场景中重建结果优于当前先进的工作，平均重建误差为0.042 m。代码开源在https：//github.com/wawcg/dy_wcg。
动态场景 同步定位与地图构建 实例分割 光流 dynamic scenes SLAM instance segmentation optical flow
1 航天工程大学研究生院，北京 101416
2 航天工程大学，北京 101416
高动态范围成像图像是真实表示自然场景中高动态范围亮度的图像，可以反映更多自然场景的信息。多曝光融合以无需改进硬件、算法流程简单的优点成为重建高动态范围图像的重要手段之一，并已在手机相机、工业相机等多个领域得到广泛应用。首先，分别依据融合层次、运动像素处理方式对静态场景、动态场景的多曝光图像融合方法进行分类总结，并对基于深度学习的方法进行单独分析总结。其次，针对多曝光图像融合的相关数据集和性能评价指标进行综述，并对融合方法使用的性能评价指标进行汇总。最后，对多曝光图像融合研究值得关注的问题进行展望，提供了后续相关研究的思路。
多曝光图像融合 高动态范围图像 静态场景 动态场景 深度学习 激光与光电子学进展
2023, 60(22): 2200003
为提升动态场景中视觉SLAM（Simultaneous Localization and Mapping）系统的定位精度和鲁棒性，提出一种基于光流和实例分割的视觉SLAM方法。针对动态物体和静态背景光流方向的不一致性，提出一种高实时性动态区域掩模检测算法，从而在ORB-SLAM2原有跟踪线程中实时地剔除处于动态区域掩模中的特征点。利用已有深度图和跟踪线程位姿估计的信息去除相机运动相关光流，然后聚类动态物体自身运动产生的光流幅值，从而实现高精度的动态区域掩模检测，并结合对极几何约束剔除局部建图线程中的动态路标点。在TUM和KITTI数据集上的测试结果表明，在高动态场景下，本文算法相较ORB-SLAM2、Detect-SLAM、DS-SLAM，定位精度平均提升97%、64%和44%。相较DynaSLAM，本文算法在一半的高动态场景中定位精度平均提升20%，这验证了本文算法在高动态场景中提升了系统定位精度和鲁棒性。
机器视觉 视觉里程计 动态场景 光流 运动物体检测 实例分割 光学学报
2022, 42(14): 1415002
1 福建工程学院机械与汽车工程学院，福建福州 350118
2 福建工程学院数字福建工业制造物联网实验室，福建福州 350118
3 华侨大学机电及自动化学院，福建厦门 361021
SLAM一直是机器人领域的研究热点，近年来取得了万众瞩目的进步，但很少有 SLAM算法考虑到动态场景的处理。针对视觉 SLAM场景中动态目标的处理，提出一种在动态场景下的图像处理方法。将基于深度学习的语义分割算法引入到 ORB_SLAM2方法中，对输入图像进行分类处理的同时剔除人身上的特征点。基于已经剔除特征点的图像进行位姿估计。在 TUM数据集上与 ORB_SLAM2进行对比，在动态场景下的绝对轨迹误差和相对路径误差精度提高了 90%以上。在保证地图精度的前提下，改善了地图的适用性。
视觉 SLAM 动态场景 特征点 剔除 visual SLAM, dynamic scene, ORB- LAM2, feature poi ORB-SLAM2
1 西安邮电大学 计算机学院, 陕西 西安 710121
2 陕西省网络数据分析与智能处理重点实验室, 陕西 西安 710121
针对多曝光图像融合中的鬼影问题, 提出了一种改进强度映射函数的多尺度曝光图像融合算法。基于参考帧图像分别确定输入帧的高低对比度; 采用高对比度区域进行结构一致性检测得出鬼影区域; 利用改进后的基于强度映射关系的能量函数进一步检测低对比度区域的鬼影信息; 利用多尺度块匹配算法进行快速融合。实验结果表明, 与已有的代表性方法相比, 该方法可以有效地去除鬼影并保留了图像的色彩和细节信息。
多曝光图像融合 鬼影检测 动态场景 鬼影去除 Multi-exposure image fusion ghost detection dynamic scene De-ghosting
贵州大学大数据与信息工程学院, 贵州 贵阳 550025
针对传统视觉同时定位与地图构建(vSLAM)相机跟踪模块在动态环境中无法精确定位的问题,提出一种基于语义的视觉里程计。首先,在利用金字塔Lucas-Kanade 光流追踪匹配帧间特征点的同时,对图像进行像素级的语义分割。然后,将语义信息与几何特征紧密结合用以准确地剔除图像中的外点,使得位姿估计和建图仅依靠图像中值得信赖的静态特征点。最后,提出了一种多尺度的随机抽样一致(RANSAC)方案,对匹配点进行步进采样,每步使用不同的尺度因子,在降低外点检测时间的同时,提高了外点检测的鲁棒性。在TUM数据集上的实验结果表明,在高动态序列中,相比于ORB-SLAM2,本文方案的绝对轨迹误差和相对位姿误差改善了90%以上,而相比于同类型的DS-SLAM,本文方案在降低外点检测时间30%~40%的情况下,提升了位姿估计的鲁棒性。
成像系统 运动估计和光流 视觉里程计 动态场景 多尺度随机抽样一致 语义分割 激光与光电子学进展
2021, 58(6): 0611001
1 北京理工大学光电学院光电成像技术与系统教育部重点实验室，北京 100081
2 91216部队，辽宁葫芦岛 125000
高动态范围成像技术能够全面有效反映场景信息，有利于在高动态范围场景下获得高质量的成像。但当前常用的基于单台相机的多次曝光融合方法在动态场景下易出现“鬼影”问题，基于多个传感器同时曝光的系统复杂且价格昂贵，基于单幅低动态范围图像的拓展方法易丢失欠曝光或过曝光区域的细节信息，且多用于较好的照明条件。针对低照度动态场景成像，研究了一种基于双通道低照度 CMOS相机的高动态范围图像融合方法，对双通道 CMOS相机采集低照度动态场景两幅不同曝光图像，依据累计直方图拓展原则分别进行动态范围拓展，并采用像素级融合方法对动态范围拓展的序列图像进行融合。实验表明，动态范围拓展融合方法可满足低照度动态场景下获取高动态范围图像的应用要求，获得更佳的成像质量。
高动态范围图像 双通道低照度 CMOS相机 低照度动态场景 图像融合 HDR image, dual-channel low-light-level CMOS camer
1 北京跟踪通信技术研究所, 北京 100094
2 哈尔滨工业大学 空间光学工程研究中心, 黑龙江 哈尔滨 150001
3 大连海事大学 信息科学技术学院, 辽宁 大连 116026
针对目前在轨卫星图像动态范围偏窄、直方图集中、灰度层次不够丰富、暗场景图像细节分辨能力不强的问题, 提出一种卫星在轨动态场景实时匹配方法。首先, 研究云检测和基于直方图特性的大气程辐射预估方法, 消除它们对场景高、低动态测量的影响, 并结合测光相机与成像相机辐射响应关系的标定, 通过测光相机最多2次拍摄地面场景, 实现场景动态范围的实时测量; 然后, 针对地面场景动态范围通常超出相机动态的问题, 设计并提出了基于高亮度和低亮度匹配的相机与场景动态范围匹配方案, 同时给出了不同情况下相机在轨参数解算方法。最后, 通过无人机飞行试验对匹配方法进行了试验验证, 结果表明: 利用该方法可根据实时拍摄的地面景物合理地设置相机积分级数和增益, 实现相机与场景动态范围的最佳匹配, 有效灰阶提升优于100%, 信息熵提升优于40%。
光学卫星 在轨动态场景匹配 相机在轨参数 有效灰阶 optical satellite on-orbit dynamic scene matching on-orbit parameters of imaging camera effective gray scale
针对传统闭环检测算法在动态场景下不稳定、易失败的问题, 提出了一种在动态场景下能够准确检测到闭环的算法。首先, 改进基于场景流区分动、静特征点算法, 使得到的动静点划分更为准确;其次, 剔除动态特征点, 进行聚类, 将图像在视觉词典树各个节点的TF-IDF熵作为图像在该视觉单词的得分权重, 从而构造得分向量对场景进行描述;最后, 采用负指数幂函数作为计算两幅图像的相似性得分函数, 计算当前帧与候选关键帧的相似性得分, 经过最后的闭环确认环节, 得到最终的与当前帧发生闭环的关键帧。实际场景的实验表明, 所提算法在动态场景下能够有效检测到闭环。
闭环检测 动态场景 场景流 TF-IDF熵 相似性得分函数 loop closure detection dynamic scene scene flow TF-IDF entropy similarity score function
