1 天津大学精密仪器与光电子工程学院,天津 300073
2 天津大学光电信息技术教育部重点实验室,天津 300073
针对孪生架构单目标跟踪算法存在的目标状态更新不及时的问题,基于模板与记忆信息动态融合的跟踪策略,提出一种通用的模板更新机制。该机制采用双模块融合的更新策略:通过记忆融合模块融合搜索图像特征的短期记忆信息,获得目标变化情况;将前一帧可信的跟踪结果作为动态模板,从相关特征的角度,通过权重融合模块对原始模板和动态模板进行加权融合,通过结合跟踪过程的原始记忆与短期记忆实现更准确的目标定位。将模板更新机制应用于SiamRPN、SiamRPN++和RBO三种主流算法,并在VOT2019公开数据集上进行实验验证。结果表明:应用该机制后算法的性能得到了有效提升,具体而言,在SiamRPN++算法中,平均重叠期望值提升了6.67%,准确性提升了0.17%,鲁棒性下降了5.39%;此外,在遮挡、形变和背景干扰等复杂场景下,添加模板更新机制的SiamRPN++算法展现出较好的跟踪性能。
目标跟踪 孪生网络 模板更新 记忆信息 激光与光电子学进展
2024, 61(8): 0837006
1 天津大学 精密仪器与光电子工程学院, 天津300072
2 光电信息技术教育部重点实验室, 天津300072
为了克服近地面湍流对几十到几百米中长成像距离下光学系统成像质量的不利影响,设计了基于长焦距望远物镜和一体化自适应模块的光学成像系统。在系统中心高度1.9 m及50~200 m的成像距离下,开展了分辨率板的室外成像实验。实验结果表明,在近地面的50~200 m中长距离下湍流对成像质量的影响明显,所搭建的实验系统能够在不同距离下有效克服湍流影响,提高图像的分辨率和清晰度的一致性,但随着成像距离的增加,湍流影响的增大,系统的校正能力降低,成像质量下降。系统在100 m成像距离下的成像分辨率能够达到0.5 mm。在200 m的距离对混凝土模型表面裂缝进行了观测及校正实验,实验结果表明,系统能够抑制湍流影响,提高裂缝图像的清晰度,验证了系统的实际应用能力。
自适应光学 近地面湍流 波前传感 波前校正 adaptive optics near-ground turbulence wavefront sensing wavefront correction
1 天津大学精密仪器与光电子工程学院,天津 300072
2 光电信息技术教育部重点实验室,天津 300072
3 天津商业大学信息工程学院,天津 300134
针对不同尺度点云配准的精度和效率问题,提出一种基于人工蜂群优化的异尺度点云配准算法。引入尺度缩放因子,与三维旋转、平移参数共同作为配准过程中的待求变量,使用人工蜂群优化方法进行优化求解。同时,基于归一化尺度参数改进了欧氏距离目标函数,以消除优化求解中尺度缩放因子引起的误差,从而有效提高配准算法的稳定性。与当前几组典型方法进行对比,所提算法对不同模型配准的精度和效率均有提高。实验结果表明,所提算法充分利用了人工蜂群优化方法优异的全局优化能力,可以有效实现对异尺度点云的高精度、快速配准。
点云配准 异尺度 人工蜂群优化 改进欧氏距离 跨源点云 激光与光电子学进展
2023, 60(12): 1210023
1 天津大学精密仪器与光电子工程学院,天津 300072
2 天津大学光电信息技术教育部重点实验室,天津 300072
现有的立体匹配算法在弱纹理、阴影等病态区域的匹配效果较差,为了充分利用场景上下文信息来提高视差匹配精度,提出一种有效的多重注意力立体匹配算法(MAnet)。特征提取阶段,通过多种注意力机制,即位置通道注意力和多头十字交叉注意力(MCA),调整特征通道并有选择性地聚合任意范围内的上下文信息,为匹配代价计算提供更有辨识性的特征。将MCA扩展到3D卷积中,扩大网络感受野,使聚合的匹配代价更准确。对于网络的损失函数,通过加权超过误差阈值部分的损失来提高网络对困难区域的学习能力。在KITTI数据集中对算法进行实验验证,MAnet对KITTI2015测试集的误差仅为2.06%,实验结果表明,与基准算法相比,MAnet提高了视差精度,有助于改善病态区域的匹配效果。
机器视觉 立体匹配 卷积神经网络 双目视觉 注意力机制 激光与光电子学进展
2022, 59(16): 1633001
1 天津大学精密仪器与光电子工程学院,天津 300072
2 天津大学光电信息技术教育部重点实验室,天津 300072
左右图像非对称离焦模糊会导致双目立体视觉系统的立体匹配失败。为训练能够应对图像模糊的神经网络,基于归一化模糊度(NBL)的分层景深叠加算法,以FlyingThings-Stereo立体像对数据集为例,添加随景物深度变化的模糊,构建非对称离焦立体视觉数据集。新建的数据集提供非对称离焦的立体像对,可用于训练去模糊网络或立体匹配网络。在训练去模糊网络时,分别向网络的输入和输出端提供模糊和清晰的立体像对;在训练立体匹配网络时,向网络的输入和输出端提供模糊的立体像对和视差真值。利用虚拟合成和实景拍摄数据对训练后的网络进行验证,结果表明本数据集可以有效训练去模糊和立体匹配神经网络,使其具备应对离焦模糊的能力,实现图像去模糊和基于模糊图像的立体匹配。
机器视觉 图像处理 非对称离焦 去模糊 数据集 立体匹配 光学学报
2022, 42(14): 1415001
1 天津大学精密仪器与光电子工程学院,天津 300072
2 光电信息技术教育部重点实验室,天津 300072
在立体匹配问题中,基于3D标签的算法可以取得更高精度的亚像素视差图。针对3D标签的随机初始化问题,提出一种基于超像素结构与三角剖分的标签初始化方法。利用基于超像素边界提取到的特征点构建三角剖分,生成初始3D标签;针对图割算法迭代优化3D标签时效率的问题,在超像素结构上利用图割算法进行全局优化3D标签,迭代中加入对当前标签状态的假设扩展标签候选,提升了标签搜索效率。在Middlebury2014数据集上对方法进行验证,实验结果表明,所提方法的平均误匹配率(8.31%)低于LocalExp算法的平均误匹配率(8.39%),并且处理单幅图像耗费的平均时间约为LocalExp算法的70%。
机器视觉 立体匹配 3D标签 超像素 三角剖分 图割 激光与光电子学进展
2022, 59(8): 0815003
1 天津大学精密仪器与光电子工程学院,天津 300072
2 光电信息技术教育部重点实验室,天津 300072
针对传统标定方法对靶标特征点模糊噪声适应性低的问题,提出一种基于彩色编码相移条纹的标定方法。以液晶显示面板为标定靶,依次显示水平和垂直彩色编码相移条纹;通过颜色通道分离,得到正交相移条纹;结合相移理论,以正交相位截断线的交点为特征点;多次改变靶标位姿,提取特征点,结合基于平面二维靶标的标定理论,实现单相机与双目立体视觉系统的标定。此外,在靶标图样四角添加彩色编码相移圆环,实现特征点的自动提取与排序,提高标定效率。实验结果表明,在拍摄靶标图像模糊时,单相机标定的重投影误差为0.15 pixels,标定后双目系统的测量标准偏差为0.1 mm。
相机标定 相位靶标 相移理论 三维测量 camera calibration phase target phase-shift theory 3D measurement