1 江苏科技大学 计算机学院, 江苏镇江22000
2 南京大学 计算机软件新技术国家重点实验室, 江苏南京10046
为了提高动态场景RGB-D SLAM中相机位姿精度,基于实例分割与光流算法,提出一种高精度RGB-D SLAM方法。首先,通过实例分割算法检测出场景中的物体,删除非刚性物体并构造语义地图。接着,通过光流信息计算运动残差,检测场景中动态刚性物体,并在语义地图中追踪这些动态刚性物体。然后,删除每一帧中非刚性物体和动态刚性物体上的动态特征点,利用其他稳定的特征点优化相机位姿。最后,通过TSDF模型重建静态背景,并以点云的形式显示动态刚性物体。在TUM和Bonn数据集中测试表明,本文方法与当前最先进的SLAM工作ACEFusion相比相机精度提升约43%。消融实验结果表明,保留动态刚性物体处于静止状态下的特征点对相机位姿估计结果提升约37%。稠密建图实验结果表明,本文方法在动态场景中重建结果优于当前先进的工作,平均重建误差为0.042 m。代码开源在https://github.com/wawcg/dy_wcg。
动态场景 同步定位与地图构建 实例分割 光流 dynamic scenes SLAM instance segmentation optical flow
1 郑州大学物理学院,河南 郑州 450001
2 郑州大学附属肿瘤医院,河南省肿瘤医院,河南 郑州 450003
高速光流控成像是融合了高速光学成像和微流控的新兴交叉技术,能够对高速复杂流体环境中的生物体进行高分辨率、高通量和多信息维度的成像和定量检测分析,在生物能源、食品科学、药物筛选、疾病诊断等领域展现出卓越的应用前景。对高速光流控成像的基本原理、关键技术和前沿进展进行综述,并对该技术未来的发展趋势和面临的挑战进行展望。
成像系统 高速成像 光流控 微流控芯片 激光与光电子学进展
2024, 61(2): 0211015
光学 精密工程
2023, 31(24): 3630
重庆邮电大学 通信与信息工程学院,重庆 400065
道路消失点检测是高级驾驶辅助系统中盲区监测的重要组成部分。针对现有消失点检测方法所存在的准确度低、运算量大等问题,提出一种基于车载视频图像的道路消失点检测算法。该算法在Harris角点检测基础上优化得分函数检测出图像特征点,减少在跟踪阶段的运算量;通过金字塔光流法和帧差距离对运动特征点进行跟踪,在结束帧上准确获得各特征点的位置;对特征点去除离值点后,通过优化初始聚类中心的K-Means聚类算法,得到车载视频图像的道路消失点。最后将算法应用于各种车辆行驶场景进行测试,在较短运行时间内,能准确检测出车载视频图像中道路消失点,证明算法鲁棒性好、运算简单易实现。
消失点检测 特征点检测 光流跟踪 离值点 vanishing point detection feature point detection optical flow tracking off-value point K-Means K-Means
1 中国科学院光电技术研究所,成都 610200
2 中国科学院大学 电子电气与通信工程学院,北京 101408
基于孪生网络的跟踪器受限于孪生网络跟踪框架固有的跟踪机制和搜索区域选择机制,当目标处在被遮挡、快速运动和出视野等困难场景下时,如何稳定、鲁棒地进行目标跟踪始终是孪生网络跟踪器亟需解决的问题。为此,文章提出一种结合光流的孪生区域提名网络目标跟踪算法(GOF-SiamRPN)。通过全局光流对目标的运动趋势信息进行补充,该方法可以有效地解决在这些困难场景下的跟踪问题。在VOT2019和UAV123上的实验结果表明,相比基准方法,该算法分别取得了2.0%和1.8%的性能提升。与其他先进的跟踪器相比,该算法也取得了有竞争力的跟踪效果。
目标跟踪 光流 孪生区域提名网络 object tracking optical flow Siamese region proposal network
1 辽宁工程技术大学 电子与信息工程学院,辽宁 葫芦岛 125105
2 辽宁工程技术大学 电气与控制工程学院,辽宁 葫芦岛 125105
针对现有光流估计方法在目标轮廓分割不清晰、缺乏细粒度的问题,本文提出融合序列影像相关区域信息的光流估计网络。通过特征编码器和全局编码器分别提取图像的编码特征和上下文特征,并通过下采样处理缩减特征尺寸。在构建4D相关体前,对输入的连续两帧特征图进行分区处理,以强弱相关的方式计算稠密的视觉相似度,建立更为精细的4D相关体积。在迭代更新阶段,提出残差卷积滤波器和细粒度模块,分别应用于处理相关体和光流传递,使得在融合相关体信息和光流信息前保留更多的局部小位移信息。在KITTI-2015数据集和MPI-Sintel数据集上与其他方法进行对比,光流估计评价指标分别提升了8.2%和6.15%。本文给出的网络模型可以更好地提高光流估计的准确性,有效解决了光流场过于平滑、缺乏细粒度和忽略小物体运动等问题。
计算机视觉 深度学习 光流 区域匹配 迭代更新 computer vision deep learning optical flow region matching iterative update
光学 精密工程
2023, 31(16): 2430
1 中国民航大学 1. 交通科学与工程学院
2 中国民航大学 2. 航空工程学院, 天津 300300
针对同时定位与建图(SLAM)中存在定位精度不足、匹配特征点误差累积和特征匹配时间较长, 提出了一种融合改进RANSAC光流法的优化算法。该方法基于传统RANSAC算法, 加入最小二乘法对模型进行迭代优化来估计最优模型, 对光流法的误匹配点进行剔除, 大量减少图像误匹配特征点; 把融合改进后的RANSAC光流法与特征点通过卡尔曼滤波进行融合, 最后使用改进后的算法在公开的EuRoC MAV数据集中进行SLAM定位精度实验。实验结果表明: 该改进算法能够有效减小光流法特征匹配的误差, 从而提高无人机视觉SLAM的定位精度。
无人机 同时定位与建图 光流法 UAV SLAM optical flow method RANSAC RANSAC
1 同济大学物理科学与工程学院,同济大学精密光学工程技术研究所,上海 200092
2 先进微结构材料教育部重点实验室,上海 200092
3 上海市数字光学前沿科学研究基地,上海 200092
4 上海市全光谱高性能光学薄膜器件与应用专业技术服务平台,上海 200092
光镊技术通过在细小物体上施加光力对物体进行操控,而伴随光力产生的光力矩同样广泛存在于光学操控中。光力矩与光力一样,具有无接触、操控尺寸小、精度高等特点,在生物医学、物理学和量子科学等领域被广泛应用。光力矩根据其与施加光场偏振旋向的关系可分为正光力矩和负光力矩。从正负光力矩产生的原理和条件、光力矩的增强、光力矩的物理和生物应用出发,对光力矩光镊操控进行回顾和讨论,最后对光力矩光镊操控潜在的挑战进行了总结,对其未来的发展方向如微型扭矩测量、光驱动生物机器人等进行了展望。
光力矩 光镊 光流控 多功能操控 生物颗粒 光学学报
2023, 43(16): 1623012