1 江苏科技大学 计算机学院, 江苏镇江22000
2 南京大学 计算机软件新技术国家重点实验室, 江苏南京10046
为了提高动态场景RGB-D SLAM中相机位姿精度,基于实例分割与光流算法,提出一种高精度RGB-D SLAM方法。首先,通过实例分割算法检测出场景中的物体,删除非刚性物体并构造语义地图。接着,通过光流信息计算运动残差,检测场景中动态刚性物体,并在语义地图中追踪这些动态刚性物体。然后,删除每一帧中非刚性物体和动态刚性物体上的动态特征点,利用其他稳定的特征点优化相机位姿。最后,通过TSDF模型重建静态背景,并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明,本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明,保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明,本文方法在动态场景中重建结果优于当前先进的工作,平均重建误差为0.042 m。代码开源在https://github.com/wawcg/dy_wcg。
动态场景 同步定位与地图构建 实例分割 光流 dynamic scenes SLAM instance segmentation optical flow
光学 精密工程
2023, 31(24): 3630
重庆邮电大学 通信与信息工程学院,重庆 400065
道路消失点检测是高级驾驶辅助系统中盲区监测的重要组成部分。针对现有消失点检测方法所存在的准确度低、运算量大等问题,提出一种基于车载视频图像的道路消失点检测算法。该算法在Harris角点检测基础上优化得分函数检测出图像特征点,减少在跟踪阶段的运算量;通过金字塔光流法和帧差距离对运动特征点进行跟踪,在结束帧上准确获得各特征点的位置;对特征点去除离值点后,通过优化初始聚类中心的K-Means聚类算法,得到车载视频图像的道路消失点。最后将算法应用于各种车辆行驶场景进行测试,在较短运行时间内,能准确检测出车载视频图像中道路消失点,证明算法鲁棒性好、运算简单易实现。
消失点检测 特征点检测 光流跟踪 离值点 vanishing point detection feature point detection optical flow tracking off-value point K-Means K-Means
1 中国科学院光电技术研究所,成都 610200
2 中国科学院大学 电子电气与通信工程学院,北京 101408
基于孪生网络的跟踪器受限于孪生网络跟踪框架固有的跟踪机制和搜索区域选择机制,当目标处在被遮挡、快速运动和出视野等困难场景下时,如何稳定、鲁棒地进行目标跟踪始终是孪生网络跟踪器亟需解决的问题。为此,文章提出一种结合光流的孪生区域提名网络目标跟踪算法(GOF-SiamRPN)。通过全局光流对目标的运动趋势信息进行补充,该方法可以有效地解决在这些困难场景下的跟踪问题。在VOT2019和UAV123上的实验结果表明,相比基准方法,该算法分别取得了2.0%和1.8%的性能提升。与其他先进的跟踪器相比,该算法也取得了有竞争力的跟踪效果。
目标跟踪 光流 孪生区域提名网络 object tracking optical flow Siamese region proposal network
1 辽宁工程技术大学 电子与信息工程学院,辽宁 葫芦岛 125105
2 辽宁工程技术大学 电气与控制工程学院,辽宁 葫芦岛 125105
针对现有光流估计方法在目标轮廓分割不清晰、缺乏细粒度的问题,本文提出融合序列影像相关区域信息的光流估计网络。通过特征编码器和全局编码器分别提取图像的编码特征和上下文特征,并通过下采样处理缩减特征尺寸。在构建4D相关体前,对输入的连续两帧特征图进行分区处理,以强弱相关的方式计算稠密的视觉相似度,建立更为精细的4D相关体积。在迭代更新阶段,提出残差卷积滤波器和细粒度模块,分别应用于处理相关体和光流传递,使得在融合相关体信息和光流信息前保留更多的局部小位移信息。在KITTI-2015数据集和MPI-Sintel数据集上与其他方法进行对比,光流估计评价指标分别提升了8.2%和6.15%。本文给出的网络模型可以更好地提高光流估计的准确性,有效解决了光流场过于平滑、缺乏细粒度和忽略小物体运动等问题。
计算机视觉 深度学习 光流 区域匹配 迭代更新 computer vision deep learning optical flow region matching iterative update
光学 精密工程
2023, 31(16): 2430
1 中国民航大学 1. 交通科学与工程学院
2 中国民航大学 2. 航空工程学院, 天津 300300
针对同时定位与建图(SLAM)中存在定位精度不足、匹配特征点误差累积和特征匹配时间较长, 提出了一种融合改进RANSAC光流法的优化算法。该方法基于传统RANSAC算法, 加入最小二乘法对模型进行迭代优化来估计最优模型, 对光流法的误匹配点进行剔除, 大量减少图像误匹配特征点; 把融合改进后的RANSAC光流法与特征点通过卡尔曼滤波进行融合, 最后使用改进后的算法在公开的EuRoC MAV数据集中进行SLAM定位精度实验。实验结果表明: 该改进算法能够有效减小光流法特征匹配的误差, 从而提高无人机视觉SLAM的定位精度。
无人机 同时定位与建图 光流法 UAV SLAM optical flow method RANSAC RANSAC
1 中国科学院力学研究所流固耦合系统力学重点实验室,北京 100190
2 中国科学院大学工程科学学院,北京 100049
3 中国科学院力学研究所空天飞行高温气动国家重点实验室,北京 100190
建立了一种适用于强激光辐照面的高温原位观测方法,并开展了高速风洞内的激光辐照实验,获得了典型金属材料与复合材料在超声速切向气流条件下的瞬态烧蚀与破坏行为;此外,基于Horn-Schunck光流法分析了各典型材料的烧蚀特征与质点的运动速度,基于粒子图像测速法并结合复合材料铺层结构特征获得了瞬时烧蚀速度。研究结果表明,各材料的动态烧蚀行为有很大差异:在切向气流作用下,熔融态钛合金的流动模式从燕尾状转变为羽翼状,而镍基高温合金则呈雨滴状流动。基于Kelvin-Helmholtz机制分析了切向气流作用下不同金属材料击穿时间存在差异的原因。超高温陶瓷复合材料的热化学烧蚀和机械剥蚀特征与编织结构类型密切相关,并且高激光功率密度条件下的抗激光烧蚀性能与碳纤维含量成正比。
激光技术 激光破坏效应 原位观测技术 瞬态烧蚀形貌 超声速切向气流 光流法 中国激光
2023, 50(16): 1602201
1 天津大学微电子学院,天津 300072
2 天津市成像与感知微电子技术重点实验室,天津 300072
3 天津中德应用技术大学软件与通信学院,天津 300350
为进一步提高事件传感器光流估计的精确度,解决平面拟合算法的拟合模型误差问题,提出一种事件传感器平面拟合光流估计改进算法。该算法采用Prim贪婪算法思想,从事件流中提取有效事件,获取最优局部邻近事件集,为后续光流估计奠定基础。同时,采用特征值算法代替传统最小二乘法,结合贪婪算法下事件集内数据的优劣排序,优化平面拟合模型的建立,提高光流估计算法的精确度。实验结果表明,相比于现有的基于平面拟合的事件传感器光流估计算法,该算法在平均端点误差和平均角度误差两个指标上分别约提升20%和11%,有效提升了事件传感器光流估计算法的精确度。
机器视觉 光流估计 平面拟合 Prim算法 特征值法 随机抽样一致算法 激光与光电子学进展
2023, 60(14): 1415001