1 上海工程技术大学机械与汽车工程学院，上海 201620
2 上海卫星工程研究所，上海 200240
3 上海司南卫星导航技术股份有限公司，上海 201801
针对影像实时动态测量设备中相机和惯性测量单元（IMU）相对位置发生变化时，需要重新进行外参标定的问题，提出了一种Camera-IMU外参在线标定方法，能够在机械构型未知的情况下自动估计初始值和外参数。首先，使用全球卫星导航时间对齐IMU和相机的时间戳，通过奇异值分解求解旋转量的超定线性方程，改变阈值判定条件和加权方式，减少方程中的退化运动，并剔除外点，提高系统鲁棒性与外参精度，从而获得恒定的Camera-IMU旋转外参。然后基于获得的Camera-IMU旋转外参，固定滑动窗口，利用高斯牛顿法估计Camera-IMU的外参平移量。与原有在线标定方法相比，旋转外参标定方法的精度提高15%，平移外参的精度提高35%，实验结果表明所提方法是有效的。
相机和惯性测量单元 外参标定 初始化 惯性测量单元预积分 激光与光电子学进展
2024, 61(4): 0411005
1 上海工程技术大学机械与汽车工程学院, 上海 201620
2 上海司南卫星导航技术股份有限公司, 上海 201801
针对汽车仪表盘内凹六边形卡槽尺寸检测中存在人工检测速度慢、精度差等问题, 提出一种基于点云数据密度提取的内凹多边形自动化测量方法。首先使用双目结构光扫描的方式, 获取零件表面的点云原始数据; 使用KD-tree建立点云拓扑关系并进行半径滤波; 利用贪婪算法重建网格曲面; 最后采用基平面偏置与密度提取融合, 实现点云的边缘特征点和噪点分类, 提取内凹多边形孔径特征, 并计算其尺寸。选用带有内凹六边形特征的弧形汽车仪表盘零件为试验工件进行算法验证。试验结果表明, 该算法可以有效提取特征且内部特征尺寸测量精度为60 μm; 相较于传统测量方法, 单个内凹六边形测量时间可缩短至1 s, 能够实现内凹型不规则工件的自动化快速尺寸测量。
边缘提取 密度提取 三维重建 内凹多边形尺寸测量 edge extraction KD-tree KD-tree density extraction 3D reconstruction inner concave polygon dimensions measurement
1 上海工程技术大学 机械与汽车工程学院，上海 201620
2 上海司南卫星导航技术股份有限公司，上海 201801
3 国网思极位置服务有限公司，北京 102211
针对传统目测法检测贴片二极管表面缺陷效率低下和基于手工特征的目标检测算法模型较浅，以及语义性不高等问题，提出了改进YOLO-V4的贴片二极管表面缺陷检测方法。首先考虑到随着网络加深使梯度消失，以及减少网络中的特征冗余和参数量的情况，CSP1模块采用DenseNet替换原网络中的ResNet；其次，为了实现特征信息的跨维度交互，让网络更加关注重要信息，在CSP1模块后引入了三分支注意力机制模块，同时使用FPN+PANet对特征进行融合；并且用CSP2替换CBL×5模块，降低了网络的运算量，提高了算法检测速度；最后优化了Focal Loss函数，对正负样本添加权重，以解决正负样本不平衡的问题。本文算法相较于YOLO-V4的检测精度（precision，P）、召回率（recall，R）和多分类平均精度（mean average precision，mAP），分别高出2.98%，2.65%，2.92%，表明改进YOLO-V4可以有效检测贴片二极管表面缺陷问题。
YOLO-V4算法 DenseNet CSP2 三分支注意力机制 Focal Loss函数 YOLO-V4 algorithm DenseNet CSP2 three-branch attention mechanism Focal Loss function
1 上海工程技术大学机械与汽车工程学院，上海 201620
2 山西中电科新能源技术有限公司，山西 太原 030024
3 上海司南卫星导航技术股份有限公司，上海 201801
针对现有多目标跟踪算法精度不高的问题，提出了一种融合YOLO-V4与改进SiameseRPN的多目标跟踪算法。首先通过YOLO-V4网络自动获取跟踪目标，制作模板后输入SiameseRPN跟踪网络；然后在模板分支中采用背景自适应策略初始化模板，并且融合残差连接构建Siamese网络；最后通过匈牙利算法对YOLO-V4的检测结果和改进SiameseRPN的跟踪结果进行数据关联，实现多目标跟踪。实验结果表明，与其他算法相比，所提算法具有较好的跟踪性能，在目标尺度变化、外观变化、部分遮挡等情况下能够实现稳定跟踪。
机器视觉 多目标跟踪 SiameseRPN算法 背景自适应 数据关联 激光与光电子学进展
2022, 59(22): 2215010
上海工程技术大学 机械与汽车工程学院, 上海 201620
针对机器视觉难以对反射表面进行缺陷检测等问题, 本文提出一种基于相位测量偏折术的缺陷检测方法。该方法以LCD屏幕作为结构光源, 格雷码图案结合相移图案作为结构光, 通过LCD屏幕投射到被测表面, 使用单目相机捕捉结构光的反射图案。首先对相机捕捉的图案逐个像素进行解码, 获得包裹相位和条纹级数; 然后进行相位展开并消除误差, 生成绝对相位图像; 再使用Canny算子对图像进行边缘检测, 将投影区域与非投影区域分割; 最后在投影区域内使用Canny算子检测出缺陷的边缘, 实现表面缺陷的检测与定位。实验结果表明: 在环境亮度较低且恒定的条件下, 相位测量偏折术可高效检测出反射表面上具有形变特征的缺陷, 精度为0.1 mm, 基本满足对反射表面上多种缺陷进行高精度、高效率、低成本检测的要求。
机器视觉 缺陷检测 相位测量偏折术 格雷码 相移 machine vision defect detection phase measuring deflectometry Gray code phase shift
1 上海工程技术大学 机械与汽车工程学院, 上海 201620
2 上海司南卫星导航技术股份有限公司, 上海 201801
在面对光照变化、部分遮挡、背景杂乱和平面内外旋转等跟踪难点时, 跟踪学习检测算法(Tracking-Learning-Detection, TLD)容易产生漂移导致跟踪失败, 其跟踪性能还有待提高。在传统TLD算法的基础上, 提出一种基于人工鱼群粒子滤波的TLD改进算法。首先使用人工鱼群粒子滤波跟踪器代替金字塔光流跟踪器, 将颜色直方图特征和方向梯度直方图特征进行融合, 建立目标表观模型, 引入图像金字塔多尺度思想进行尺度匹配, 提高目标跟踪的稳健性。然后通过粒子滤波过程预测目标区域, 将TLD算法检测模块的全局扫描改进为局部扫描, 剔除大量非目标区域, 提高检测模块的检测效率。实验结果表明: 基于人工鱼群粒子滤波的TLD改进算法具有良好的跟踪性能, 与传统TLD算法相比, 其平均成功率和精准度分别提高了19.04%和28.00%, 平均跟踪速度可达33.87 FPS, 提高了38.78%。
计算机视觉 目标跟踪 跟踪学习检测算法 人工鱼群 粒子滤波 computer vision target tracking tracking-learning-detection algorithm artificial fish-swarm particle filter
1 上海工程技术大学机械与汽车工程学院机械电子系, 上海 201620
2 上海司南卫星导航技术股份有限公司, 上海 201801
针对图像特征点提取匹配算法中配准率不高的问题,提出了一种优化栅格移动统计的图像配准算法。首先使用快速特征点提取和描述算法提取特征点,再通过暴力匹配算法进行大致的特征点配准。根据图像的大小和特征点的个数将图像划分成多个栅格,对栅格内的特征点数量进行移动统计,通过九宫格里特征点距离中心特征点的远近,使用高斯函数制作分数统计模板。将九宫格里的分数统计与设定的阈值进行对比,超过阈值则认为是一个正确的匹配点,否则即被筛选掉。实验结果表明,该算法比基于栅格的移动统计算法获得精确匹配点的数目提高了18.17%,与传统特征点提取匹配算法相比,速度最大可以提高约41.3%,能有效剔除错误匹配,提高匹配率。
图像处理 图像配准 特征点提取 高斯函数 栅格移动统计 激光与光电子学进展
2020, 57(12): 121014
1 上海工程技术大学机械与汽车工程学院, 上海 201620
2 上海司南卫星导航技术股份有限公司, 上海 201801
激光雷达运动补偿是智能车动态背景目标检测中不可避免的过程。提出了一种基于激光雷达的运动补偿算法。首先通过四元数法求解车体在上一个扫描周期与当前扫描周期的位姿变化矩阵。其次,根据静态场景的特点及历史激光雷达数据帧生成的数据包,利用高斯混合模型对时间坐标系下的背景进行建模。考虑到高斯混合模型在动态场景下容易失效,通过运动补偿将动态背景转换为静态背景,再用高斯混合模型对时间列表中所有历史帧进行处理,得到T时刻运动目标的原点特征点,将特征点与当前帧中符合的点相匹配进一步细化点在当前帧中的新位置。经过实验验证,该方法成功地对背景运动进行了估计和补偿,适合应用于三维环境下实时运动目标的检测。
成像系统 四元数法 高斯混合模型 运动补偿 目标检测 激光与光电子学进展
2020, 57(2): 021106
1 上海工程技术大学机械与汽车工程学院, 上海 201620
2 上海司南卫星导航技术股份有限公司, 上海 201801
泊松算法在重建时物体边缘容易产生未封闭的曲面,最终建成的物体存在表面粗糙、孔洞等问题。基于此,提出一种改进的三维点云重建算法。该方法首先用统计滤波器对点云简化去噪,消除重建表面的锯齿状现象;然后建立点云间拓扑结构,对点云法向量进行法向重定向,以减少法向指向的二义性;最后将具有磁盘拓扑结构的点云映射到平面,将二维三角剖分方法应用于平面参数化,给二维点提供三角形连通性,并将其传输回三维点云形成网格曲面。经过实验验证,该方法可以有效地去除噪声点,构建更加规则的三角形网格,并能有效地去除伪封闭曲面,明显改善带孔洞的表面点云重建效果且重建时间降低。
成像系统 泊松算法 Delaunay算法 简化去噪 法向估计 点云重建 激光与光电子学进展
2020, 57(2): 021102
上海工程技术大学 机械工程学院, 上海 201620
为了测量光杆六角螺栓的外形尺寸, 提出了一种基于图像测量的视觉检测方法。简要介绍了六角螺栓制造的工艺流程, 指出了光杆螺栓检测的重要性。在分析Hough变换原理的基础上, 介绍了圆的检测方法, 提出了一种基于特征的正六边形检测方法。首先进行直线检测, 利用检测到的直线建立直线方程, 其次根据方程求取相邻直线的交点, 计算每条边的长度和相邻两边的夹角。最后利用Hough变换的圆检测方法检查交点是否在同一圆周上。在检测实验中螺杆直径的测量误差为0.37%, 螺栓头部正六边形的角度测量误差为0.40%, 边长测量误差为1.25%。结果表明, 该方法是有效的, 能较准确地检测出光杆六角螺栓的外形尺寸。
光杆六角螺栓 视觉测量 Hough变换 圆检测 正六边形检测 unthreaded hex bolt vision measurement Hough transform circle detection regular hexagon detection
