1 桂林电子科技大学信息与通信学院，广西 桂林 541004
2 梧州学院机器视觉与智能控制广西重点实验室，广西 梧州 543002
传统非实时图像拼接方法易因局部图像失配导致全局拼接中断。此外，显微图像具有大量相似的微观结构，存在特征检测耗时长、误匹配率高等问题。为此，提出一种基于载物台运动信息的显微图像预测拼接算法。通过控制电动载物台XY轴移动距离来决定相邻图像间重叠区域大小，在图像的重叠区域采用加速稳健特征算法检测特征点。利用图像间前后位置关系预测待匹配特征点的范围，在预测范围内筛选出最小欧氏距离的待匹配点。最后通过匹配特征点对的斜率粗筛选匹配点对，随机抽样一致性算法进行精匹配并计算单应性矩阵配准图像完成拼接，使用改进的加权平均算法融合拼接图像。实验结果表明：与暴力匹配和快速最近邻搜索算法相比，所提算法匹配率提高7.95%~26.52%，有效提高配准精度。同时，当图像分辨率为1600×1200时，多图拼接速率为2 frame·s-1，其效果优于AutoStitch软件拼接效果。
图像处理 显微图像 特征匹配 预测拼接 激光与光电子学进展
2024, 61(8): 0837012
南京航空航天大学机电学院，江苏 南京 210016
为了实现对跨尺度零件微小结构的尺寸精度和定位精度的同时测量，提出一种基于宏微复合标定的测量方法。建立不同尺度传感器组合式测量的标定模型，利用变焦扫描显微系统测量零件微尺度特征，利用双目系统测量定位显微设备，从控制坐标转换精度的角度设计加工特殊的标定块，将其作为跨尺度中转坐标系，标定变焦扫描显微重建点云坐标系与测头坐标系的空间转换关系，从而将局部测量点云统一至一个数据集中以完成所有局部区域的整体拼接。与理论模型对比分析，所提测量方法的各孔圆心坐标分布圆度误差为0.0438 mm，平面度误差为0.0252 mm，对喷注器各孔位姿的点误差值小于0.029 mm，孔轴向误差小于0.1140°。与面结构光传感器重建结果对比分析，所提模型能够在保证高精度重建三维形貌的情况下，更加正确地获取跨尺度零件的尺寸和位置。
表面形貌测量 跨尺度 多传感器方法 点云拼接
1 中国长江三峡集团有限公司科学技术研究院, 北京 100038
2 郑州航空工业管理学院智能工程学院, 河南郑州 450015
针对无人机拍摄叶片红外图像背景冗余信息较多、拼接精度不高等问题, 本文提出一种基于形态学改进 Chan-Vese分割与局部特征匹配的红外风机叶片图像拼接算法, 首先, 对图像进行中值滤波降噪, 使用形态学运算改进基于 Chan-Vese模型的水平集算法, 生成表达主体的掩膜。基于掩膜去除冗余背景提取局部 Harris特征点; 对掩膜进行二次形态学腐蚀处理, 抑制边界锯齿像素上的伪特征点; 最后, 使用暴力匹配及随机抽样一致(Random Sample Consensus, RANSAC)算法筛选出有效匹配点对, 计算单应性矩阵实现匹配拼接。与传统图像分割下 Harris拼接算法相比, 本文改进后的算法拼接精度有明显提高, 在不同的测试场景下显示出较强鲁棒性。
风力发电机叶片 红外图像拼接 水平集 形态学运算 Harris特征点 wind turbine blades, infrared image stitching, lev
1 四川大学电子信息学院，四川成都 610065
2 四川大学空天科学与工程学院，四川成都 610065
偏折术作为一种高精度的面形检测方法，其测量精度不仅依赖于系统参数的标定精度，还受到显示器面形的影响，尤其是对于常用的基于平面镜反射模型实现系统标定的偏折术测量系统，显示器面形还会直接影响系统参数的标定精度。为了研究显示器面形对拼接偏折术测量精度的影响，首先预设了不同形变量的显示器面形，再依据提出的计算方法分析了其对系统标定精度以及测量精度的影响，结果证明显示器面形不仅会降低系统参数的标定精度，还会在待测元件的面形测量结果中引入较大的低阶项及高阶项误差。最后通过与实验结果对比，进一步验证了所提出方法的正确性，该研究为拼接偏折术检测系统的测量误差提供了一种定量计算分析方法。
拼接偏折术 显示器面形 相机标定 低高阶误差 测量精度 stitching deflectometry display surface shape camera calibration low and high order errors measurement accuracy
蔡梦雪 1,2,3,4王孝坤 1,2,3,4张志宇 1,2,3,4李凌众 1,2,3,4[ ... ]张学军 1,2,3,4
1 中国科学院长春光学精密机械与物理研究所，吉林 长春 130033
2 中国科学院大学，北京 100049
3 应用光学国家重点实验室，吉林 长春 130033
4 中国科学院光学系统先进制造技术重点实验室，吉林 长春 130033
由于仪器传递函数（Instrument Transfer Function, ITF）能准确反映仪器在空间频率上的响应特征，被广泛应用于仪器规范之中。目前多采用刻有单一台阶特征或不同周期正弦特征的平面测试板对干涉仪的ITF进行检测。针对平面测试板无法完成高陡度球面/非球面镜检测时ITF标定的问题，提出了根据球面台阶测试板标定高陡度镜面检测的子孔径拼接ITF的方法。通过超精密车削技术制作了球面台阶测试板，并对其进行拼接检测，根据梯度定位法和旋转矩阵完成检测孔径中台阶的定位及采样，利用傅里叶变换方法实现对台阶实测面形的功率谱密度求解，最后与理想面形功率谱密度做比获得ITF。对口径100 mm、曲率半径100 mm、带有同心圆环台阶结构的球面台阶测试板进行拼接检测以及数据分析，实验结果表明：在1 mm−1的空间频率范围内，各个子孔径对高陡度镜面的检测水平平均可达到82.72%，具有较好的检测精度，随后ITF逐渐衰减，当空间频率在1.5 mm−1左右时，仅能达到40%~60%。
高陡度球面 高陡度非球面 仪器传递函数 子孔径拼接 球面台阶测试板 high-steep spherical surface high-steep aspheric surface instrument transfer function sub-aperture stitching spherical step test board 红外与激光工程
2023, 52(9): 20230462
1 五邑大学轨道交通学院，广东 江门 529020
2 广东工业大学机电工程学院，广东 广州 510642
3 佛山市南海区广工大数控装备协同创新研究院，广东 佛山 528225
针对如何快速且准确地获取模具内部完整三维点云数据的问题，提出一种机械臂与三维视觉设备结合的三维点云拼接算法。在初拼接阶段，采用手眼标定方式获取手眼矩阵，并将各幅点云转换到机器人基坐标系，完成初步拼接，得到良好的配准初始位置。在此基础上，提出改进的迭代最近点（ICP）算法，通过结合内部形体描述子（ISS）特征获得关键点，并用随机一致性算法剔除错误匹配点，在点的匹配过程中采用点到面的方式进行匹配，最终得到完整的拼接点云。实验结果表明，所提算法在与ICP算法及其他改进的ICP算法的配准性能对比中具有良好的稳健性，算法耗时及配准误差明显下降，完整的拼接点云误差为0.12 mm，具有较高的工程实践价值。
机器视觉 点云拼接 三维点云 迭代最近点算法 机械臂 激光与光电子学进展
2023, 60(20): 2015001
电子科技大学光电科学与工程学院，四川 成都 611731
针对传统显微镜结构复杂且视场角小等问题，提出一种两路低电压驱动的液晶微透镜阵列结构，透镜的焦距由3个电极控制，中间电极为圆孔阵列图案电极，作为孔径光阑以阻止微透镜外的杂散光。对该阵列的波前和光焦度进行了测试，搭建了一套简易液晶微透镜阵列直接成像系统，每个微透镜都对待观察物体的不同区域成像，通过近平行光照明减小相邻微透镜间的串扰，拼接所有单元图像得到完整图像。该系统无需额外的光学器件，结构简单紧凑。液晶微透镜阵列具有大视场，成像区域具备可扩展性，为实现大视场下的简易显微成像提供了新思路。
液晶微透镜阵列 电控调焦 直接成像 图像拼接 激光与光电子学进展
2023, 60(20): 2011004
1 东南大学自动化学院，江苏 南京 210096
2 东南大学复杂工程系统测量与控制教育部重点实验室，江苏 南京 210096
3 东南大学深圳研究院，广东 深圳 518063
针对宽基线场景下的拼接因视差导致伪影和瑕疵的问题，提出了一种基于密集视点插值的实时视频拼接方法。该方法采用在左右相机的基线上补充密集中间视点的方式，为拼接的重叠区域合成平滑过渡的插值视图，以更好地对齐多个输入。为生成该插值视图，利用立体匹配中的匹配代价，设计了网络用来预测在原视图中采样的像素位移场。所提方法在没有插值视图真值的情形下，利用视点间的空间变换关系，指引网络学习视图生成规则。实验结果表明，所提方法能提升视频图像拼接后的视觉观感，并可以达到实时性能，满足实际场景中的应用需求。
机器视觉 视频拼接 宽基线 深度学习 视图插值 光学学报
2023, 43(14): 1415003
1 浙江大学 光电科学与工程学院, 浙江 杭州 310027
2 之江实验室 类人感知研究中心, 浙江 杭州 311100
全景内窥成像技术可有效减小体内器官的观察盲区，具有缩短手术时间、降低术中出血风险、改善手术预后、缩短术后恢复时间等多种优点，在微创手术和术前检查中有重要应用价值，是近年来的研究热点。本文从原理和产品应用两个方面对全景内窥成像技术进行了梳理。首先，综述了基于二维和三维成像的各种全景内窥成像技术，阐述了它们各自的实现方式，并分析了其关键指标和性能。其次，对比分析了由全景内窥成像技术衍生出来的胶囊内窥镜、全景结直肠镜等多种不同类型的产品，并展望了全景内窥成像技术的发展趋势和应用前景。
内窥镜 全景成像 3D重建 图像拼接 endoscope panoramic imaging 3D reconstruction image stitching
