为了实现芯片封装凸点(Bump)高度的测量,建立了基于白光三角法的测量系统,并提出了一种复杂背景下Bump高度的测量方法。根据提出的测量模型搭建了Bump高度测量系统,利用U-Net深度学习模型进行光条图像的分割并结合灰度重心法和插值法提取完整的光条中心,以克服复杂背景的干扰。然后,对测量系统进行标定以确定像素值与实际高度值的对应关系。最后,通过函数拟合的方式确定Bump的高度。实验结果表明:Bump高度的测量重复性平均值为0.21 μm,标准差为0.095 μm;测量平均误差为-0.04 μm,标准差为0.408 μm。该方法在复杂背景下对Bump高度的测量精准度高、稳定性好,可满足芯片封装中晶圆Bump共面性在线检测的要求。
芯片检测 深度学习 光条中心 凸点测量 chip detection deep learning light stripe center bump measurement 光学 精密工程
2023, 31(13): 1890
桂林电子科技大学机电工程学院广西制造系统与先进制造技术重点实验室,广西 桂林 541004
线结构激光3D成像技术已广泛用于焊接检测。飞溅干扰下快速、准确、实时地提取光条中心图像是实现焊缝在线检测的关键问题。针对传统方法难以有效解决强弧光和焊渣飞溅干扰的问题,提出一种新的抗飞溅光条中心快速提取方法。首先,根据激光光条宽度约束条件提取条纹几何中心,采用快速连通域提取算法筛选出有效轮廓,利用改进的局部边缘连接算法连接飞溅导致的断点;然后,搜索相邻轮廓,将其构成有序对,并生成有向图,查找光条中心投影长度最大的路径作为真实的光条中心轮廓;最后,在粗提取的中心轮廓局部,沿法向计算亚像素中心。实验结果表明,所提方法能有效抵抗焊接时的飞溅干扰,即使拆除线结构光传感器的挡板,仍能实时准确地提取光条中心线,与多种算法相比,具有更高的运行速度和提取精度。
成像系统 激光条纹中心提取 线结构光 焊接 连通域 边缘连接 激光与光电子学进展
2022, 59(16): 1611011
1 湖北工业大学机械工程学院, 湖北 武汉 430068
2 现代制造与质量工程湖北省重点实验室, 湖北 武汉 430068
提出了一种双频曲线拟合的亚像素中心提取方法。首先采用二次阈值法自动分割光条区域,利用灰度重心法获取光条纹中心初始位置,然后用移动直线拟合初始位置得到光条曲线的局部法线,最后在法线方向上进行双频曲线拟合,得到光条纹中心的亚像素坐标。实验结果表明,该方法能消除部分高频噪声的影响。相比Steger法,该方法提取的条纹中心均方根误差小于0.1 pixel,速度约是其26倍,可适用于多种材质表面光条纹中心的提取,为工业应用中的激光条纹中心提取提供参考。
机器视觉 条纹中心提取 双频曲线拟合 线结构光 激光与光电子学进展
2020, 57(14): 141502
沈阳建筑大学信息与控制工程学院, 辽宁 沈阳 110168
准确、快速地提取结构光条纹中心是三维测量系统中的关键问题。针对现存的结构光条纹中心提取精度与速度之间的矛盾,提出一种全新的基于海森(Hessian)矩阵与区域增长相结合的激光条纹中心提取方法。采用自适应阈值法提取图像的感兴趣区域,利用灰度值最大法确定像素级条纹中心的初始位置;利用Hessian矩阵求取初始点法线方向上的亚像素级光条中心点;将光条中心点作为种子点进行区域增长迭代运算,从而精确提取条纹中心。区域增长算法解决了传统方法中存在的大量高斯卷积运算的问题,提高了条纹中心的提取速度。实验结果表明,该算法提取的条纹中心准确度高,满足三维测量系统中实时在线的要求。该算法的均方差相比于灰度重心法降低了2.02 pixel,提取速度相比于Steger法提高了40倍。
测量 结构光 条纹中心提取 区域增长 海森矩阵 激光与光电子学进展
2019, 56(2): 021203
1 中国铁道科学研究院集团有限公司基础设施检测研究所, 北京 100081
2 北京交通大学理学院, 北京 100044
研究了行车环境下激光条纹图像中心线快速、准确且可靠的提取方法。基于ENet深度学习模型实现了激光条纹的多区段快速分割;通过统计各区段内光条梯度方向的直方图来确定各分段光条的法线主方向,并构造了相应的方向模板;利用分区域多模板匹配的灰度重心法实现了光条中心的亚像素坐标提取。研究结果表明,该方法可以有效克服室外行车环境中各类干扰信息对光条中心提取的影响,单幅钢轨轮廓图像的光条提取时间仅为2.1 ms,误差均值约为0.082 pixel,标准差为0.047 pixel,兼顾了光条中心提取的时效性和准确率。
图像处理 结构光测量 光条中心提取 图像分割 深度学习 多模板匹配 亚像素
北京交通大学计算机与信息计算学院, 北京 100044
高精度解码是DeBruijn彩色结构光三维测量技术的关键问题。针对光照和物体表面纹理等因素导致解码精度不高的问题,提出一种基于色彩迁移技术的DeBruijn彩色结构光解码算法。首先,以结构光编码图像的颜色分布为先验知识,利用色彩迁移的方式对相机捕获的结构光投影图像进行增强和去光照处理,还原结构光投影图像条纹的颜色信息;然后,基于提出的两步精确定位的彩色结构光投影图像条纹中心点亚像素提取算法,准确提取条纹的中心坐标;最后,基于动态规划算法完成特征点匹配。实验结果表明,在光照和被测物体表面纹理导致结构光投影图像质量下降的情况下,提出的解码算法依然能够有效提高解码精度,具有较强的稳健性。
图像处理 色彩迁移 结构光解码 条纹中心点提取 DeBruijn序列 激光与光电子学进展
2018, 55(1): 011013
1 火箭军工程大学 五系, 陕西 西安 710025
2 西南交通大学 机械工程学院, 四川 成都 610031
为保证钢轨磨损动态视觉测量的高精度, 综合图像获取和图像处理技术, 实现了清晰光条图像获取和光条中心点亚像素坐标精确提取。根据光条与背景环境亮度的高对比度, 提出一种依据光条亮度的相机自动曝光法, 用于获取清晰的光条图像; 分析图像光条法线方向的亮度衰变特征, 采用动态阈值分割法初步提取光条, 滤除图像背景的同时保留光条法线方向的亮度衰减信息; 根据图像过度曝光信息确定光条中心点像素大致位置, 再对分割的光条图像相对应像素位置点计算Hessian矩阵, 获取光条中心点的亚像素坐标。采用MFC编写应用程序进行试验, 在不同光照环境和背景物的干扰下, 该方法可精确地提取光条中心, 与经典Steger算法相比提取精度偏差为0.05 pixel, 运算时间节约40%。试验结果验证了该方法稳定性好, 有较强的抗干扰能力, 较好地满足钢轨磨损测量的现场要求。
视觉测量 自动曝光 图像处理 亚像素光条中心 visual measurement automatic exposure image processing sub-pixel light-stripe center