1 西北工业大学 无人系统技术研究院，陕西西安70072
2 中国人民解放军军事科学院 国防科技创新研究院，北京100850
针对室内弱纹理环境下基于点特征的视觉同步定位与建图（Simultaneous Localization and Mapping， SLAM）存在的轨迹漂移等问题，提出了一种融合点线特征的双目视觉SLAM系统，并对线特征的提取与匹配问题展开研究。为了提高线特征的质量，通过长度与梯度抑制、短线合并等方法，进一步改进LSD（Line Segment Detector）线特征提取方法。同时，通过将匹配问题转换为优化问题，并利用几何约束构建代价函数，提出了一种基于几何约束的快速线段三角化方法。实验结果表明，本文所提方法在多个数据集上的表现都优于基于描述子的传统方法，尤其在室内弱纹理场景下，其平均匹配精度达到91.67%，平均匹配时间仅需7.4 ms。基于此方法，双目视觉SLAM系统在弱纹理数据集上与已有算法ORBSLAM2，PL-SLAM的定位误差分别为1.24，7.49，3.67 m，定位精度优于现有算法。
双目视觉 线特征提取 视觉同步定位与建图 特征匹配 binocular vision line features vision simultaneous localization and mapping feature matching
1 河北工程大学 数理科学与工程学院, 河北 邯郸 056038
2 河北省计算光学成像与光电检测技术创新中心, 河北 邯郸 056038
3 河北省计算光学成像与智能感测国际联合研究中心, 河北 邯郸 056038
4 河北省煤矿智能化工程研究中心, 河北 邯郸 056038
在路面裂缝的检测中, 传统人工检测的方法准确性低, 效率低, 且单目视觉技术无法准确获得深度信息, 只能得到二维平面信息。基于此, 文章引入了双目线结构光技术, 提出了一种基于地面平均高度的三维裂缝提取算法, 实现了裂缝的三维信息采集。算法提取图像中每列像素值中最低点为起点, 向左右扩散形成一个边缘提取范围, 计算该列边缘提取范围以外的像素平均值作为地面平均高度值, 然后以最低点为中心开始遍历每个像素值, 当左右两边像素超过地面平均高度值时, 则确定两个像素点为裂缝边缘。整合所有列, 实现整条裂缝边缘的提取。实验结果表明: 文章提出的裂缝识别算法能够较为准确的对裂缝边缘进行提取, 通过与Canny边缘提取算法对比, 数据表明, 文章算法在连续性上表现更好, 本文算法的图像水平相关性数据总体都高于Canny边缘提取算法, 平均提高了30%。
双目视觉 图像处理 裂缝尺寸测量与计算 线结构光 binocular vision Image processing Crack size measurement and calculation Linear structured light
中国工程物理研究院机械制造工艺研究所，四川 绵阳 621000
孔轴装配是工业制造领域的一个重要基础问题，针对空间狭窄视觉困难、容易碰撞损坏、人工装配效率低等问题，提出一种基于双目视觉的监测方案，将图像叠加融合，扩大监测视野，并通过轴与孔的截交线来测量装配参数。此外，根据重投影误差，对不同位置的双目数据的融合权重进行优化，使误差降低10%左右，在实现快速检测的同时保证了测量精度。实验结果表明，所提算法可以对间隙为0.25 mm的小直径和小间隙孔轴的装配过程进行实时监测，平均误差约为0.015 mm。同时，所提算法对摄像机的倾斜角度不敏感，在不同的摄像机安装位置具有良好的鲁棒性。
机器视觉 孔轴装配 双目视觉 数据融合 激光与光电子学进展
2023, 60(16): 1615003
西安应用光学研究所 智能感知实验室，陕西 西安 710065
DETR（detection transformer）算法是一个基于Transformer的目标检测算法，具有检测速度快、检测效果好的优势。介绍了一种利用DETR算法及双目视觉原理对道路环境下的人、车、自行车、信号灯等目标进行构建的测量系统。分析了双目测距、相机标定、目标检测以及目标匹配的原理，并以此为基础构建了测量系统。采用目标检测算法检测视野中的目标，利用双目视觉原理对检测到的目标进行测距，同时分析了测量系统中测量误差的来源，并计算其对结果的影响。该算法在KITTI数据集及现实环境中进行测试，测量系统基线为45 cm，对15 m～80 m的指定目标检出率高于90.6%，测距误差小于5.8%，在RTX 2080Ti平台上能够实时运行。
双目视觉 目标检测 测量系统 测量误差 binocular vision target detection measurement system measurement error
上海理工大学 光电信息与计算机工程学院，上海 200093
为了解决短基线双目内窥成像系统获得的视频图像在裸眼3D显示设备中观看到的视频纵深感和立体感较弱的问题，通过分析双目内窥镜的参数以及立体视频中图像对的视差，提出了基于短基线双目内窥成像系统的立体视频校正和视差调整方法。首先，对采用的双目结构内窥系统进行相机标定，获取各相机参数和相机间的位置参数；其次，利用获得的参数进行相机视频校正，再针对裸眼3D显示设备对视频源的参数要求进行图像对的视差调整，最终获得符合裸眼3D立体显示设备要求并适合人眼观看的双目内窥系统实时显示立体视频。通过实验验证了方法的可行性，实际搭建了一套基线距离为8 mm的短基线双目内窥成像系统，原始视差范围(0，64)像素，经视差调整后达到（−30, 30）像素，双路并行视频处理25 帧/s并实时显示。与实验室设计的裸眼3D立体显示系统匹配，可实现具有明显立体感的医用内窥镜实时裸眼3D成像。
图像处理 双目视觉 立体视频 视频校正 image processing binocular vision stereo video video correction 光学 精密工程
2023, 31(12): 1793
1 安徽建筑大学机械与电气工程学院，安徽 合肥 230601
2 合肥工业大学仪器科学与光电工程学院，安徽 合肥 230009
针对工业机器人绝对定位精度不高的现状，提出一种基于双目视觉辨识运动学参数的方法。首先，基于modified Denavit-Hartenberg参数建立机器人运动学模型；其次，规划机器人末端以多空间球形运动，采用双目视觉系统测量不同末端位置相对球心的实际距离，与理论距离对比构造相对距离误差函数；然后，使用粒子群算法迭代求解运动学参数误差，并利用正余弦策略和信赖域优化对粒子群算法进行优化，降低粒子群陷入局部寻优的可能性；最后，对运动学参数进行补偿并对比验证。实验结果表明：距离平均误差由1.1601 mm减少到0.2260 mm，精度提高了80.52%；标准差由0.6582 mm减少到0.1412 mm，精度提高了78.55%，验证了所提方法的高效性和实用性。
机器视觉 运动学参数辨识 双目视觉 粒子群 距离误差 绝对定位精度 激光与光电子学进展
2023, 60(14): 1415002
1 湖北工业大学机械工程学院，湖北 武汉 430068
2 现代制造质量工程湖北省重点实验室，湖北 武汉 430068
印刷电路板上连接PIN正位度检测是保证PCB电气可靠性的重要环节，其主要检测PIN缺针、共线度与高度。为满足生产实际需求，提出一种基于双目视觉的连接PIN正位度检测方法。首先，通过双目标定获取相机内外参数，实现图像立体校正；其次，根据先验的相对方位和给定的排列信息生成相应的栅格，基于栅格灰度阈值变化进行PIN缺失检测；然后，分别提取PIN在两个相机视野中对应的特征角点，基于视差原理进行针尖三维坐标计算，实现对PIN的排列共线度检测；最后，提出了基于特征提取的PIN相对高度检测方法，实现了对PIN的相对高度检测。实验结果验证了所提方法的有效性，PIN相对高度检测的平均耗时为125.4 ms，精度达99.535%，重复性精度在±0.05 mm内。
双目视觉 PIN 正位度检测 视差 图像处理 激光与光电子学进展
2023, 60(14): 1415004
1 云南师范大学物理与电子信息学院，云南 昆明 650504
2 云南省光电信息技术重点实验室，云南 昆明 650504
3 云南师范大学信息学院，云南 昆明 650504
立体显示、虚拟现实及头戴设备的应用研究需要对人眼视觉双目特性做更深入的研究。阈值测量是研究视觉感知特性的方法之一，人的左右眼分别观看不同的颜色，且双眼观看的颜色色差不超过双目颜色融合的阈值时，可能会感知到灰色，也就是发生了双目色调消除现象。为了研究这种特殊现象，本文设计了视觉心理物理学实验，在CIELAB颜色空间中研究双目融合范围内能够感知到灰色现象的对立颜色方向和色差阈值，并将实验结果分别在LMS、Macleod-Boynton、DKL等颜色空间中表示，为进一步研究人眼特性及双目颜色机理提供实验数据。
视觉，颜色与视觉光学 颜色感知 双目视觉 色调消除 CIELAB颜色空间 光学学报
2023, 43(13): 1333001
1 桂林电子科技大学, a.广西精密导航技术与应用重点实验室
2 b.信息与通信学院, 广西 桂林 541000
3 卫星导航定位与位置服务国家地方联合工程研究中心, 广西 桂林 541000
无人机对目标进行测距时, 其算法的实时性和准确性一直是研究的重点。针对算法的实时性, 提出双向搜索策略以及采用三条数据流并行处理实现GPU加速, 并引入蝶形排序算法, 提高了运算效率; 针对算法的准确性, 提出改进AD算法与改进Census算法融合, 有效地解决了算法过度依赖中心像素的问题; 为了降低算法复杂度, 在基于背景差法的目标检测中引入移动平均算法; 针对无人机平台存储空间有限, 提出存储数据优化方案, 减少了数据的占用空间。在Middlebury数据集下与BM算法、SGBM算法进行对比实验, 采集室外场景与BM算法进行测距性能对比, 最后实现室外无人机测距。通过大量实验数据验证了所提算法可满足无人机实时测距的高精度要求。
无人机 双目视觉 双向搜索 蝶形算法 移动平均算法 UAV binocular vision two-way search butterfly algorithm moving average algorithm
