1　引言

线结构光测量技术具有精度高和非接触等优点，被广泛应用于三维扫描和物料流量的快速测量中^［1-2］。该测量技术通过相机采集投射到物体上的结构光光条图像并提取光条中心的二维坐标，进而利用三角测量原理计算被测物体的空间坐标。其中，结构光光条中心提取是测量过程中的关键，直接决定了测量的速度和精度^［3］。在工业高速测量场景中，采集的结构光光条图像一般存在运动模糊干扰^［4］，如煤流流量测量场景中，激光线投射在高速运动的输煤传送带上，相机采集的光条图像是曝光时间内激光光条运动轨迹的叠加，从而产生运动模糊效应，且各区域的模糊程度不同^［5］，极大增加了光条中心提取的难度。缩短相机曝光时间可以降低模糊效应，但高速相机的成本昂贵，且通常情况下，帧率越高，相机的分辨率就越低，而低分辨率图像同样会影响光条中心的提取精度。针对具有一定规律的运动模糊图像，人们提出了诸多复原方法，但这些方法均难以适用于被测物体表面高度剧烈且毫无变化规律的情况^［6］。

传统线结构光光条中心提取法有极值法、几何法、曲线拟合法、灰度重心算法等^［7］，这些方法简单高效，但提取精度有限，容易受噪声影响。因此，人们根据光条特征提出了方向模板法^［8］、Steger算法^［9］等，从原理上提高了算法的精度和鲁棒性，但这些算法存在计算复杂度高、运算速度慢的不足。为了提高光条中心提取算法的效率：Li等^［10］采用蒙特卡罗方法对传统灰度重心算法计算的中心进行修正，以相对较低的计算代价获得高精度的光条中心点；李伟明等^［11］结合阈值轮廓跟踪算法和灰度重心算法，避免了对整张图像进行搜索，大幅提高了光条中心提取的速度；何坚强等^［12］用主成分分析法替代Hessian矩阵法并采用区域增长算法搜索光条像素区域，提取光条中心的速度是Steger算法的4倍。近年来，随着深度学习的发展，人们进一步提出了基于图卷积的光条中心提取算法，如郭雁蓉等^［13］通过设计多尺度卷积网络不断优化算法的损失函数，得到平滑、完整的中心线。

上述算法大多假定光条成像稳定清晰，不能很好地处理光条图像发生运动模糊的情况，且运动模糊的光条截面像素灰度不再符合单一分布规律，这也增加了结构光光条中心的提取难度。针对这些问题，本文分析结构光光条运动模糊的成因和光条图像的灰度值分布发现，模糊光条亮度最大部分对应着曝光时间内运动方向上待测物体表面出现最多的高度。利用该结论将光条截面像素灰度值的峰值附近区域作为光条核心区域，提出了一种能在运动模糊情况下快速提取结构光光条中心的算法，以满足工业高速测量场景的需求。

2　光条运动模糊特性分析

在皮带传送工业场景中使用结构光测量技术时，将一定宽度的激光线投射到传送带上并对随传送带高速运动的物体进行扫描，同时由相机采集激光光条图像进行三维重建。该技术应用于煤流流量测量时，线激光通常垂直投射在煤流上，如图1（a）所示。由于煤流表面参差不齐，煤流上的光条成像会发生复杂运动模糊现象，如图1（b）所示。从图1（b）中的矩形框部分可以发现，覆盖煤的部分结构光光条成像宽度不一且亮度无规则变化，导致各区域模糊程度不同，部分光条纵向相互遮挡，两侧没有覆盖煤对应的光条成像则稳定清晰，这些问题增加了光条中心提取的难度。因此，从成像模型与实验两方面分析上述光条运动模糊的原因和运动模糊情况下光条的灰度值分布特点。

图 1. 煤流扫描系统的结构。（a）扫描场景；（b）光条图像

Fig. 1. Structure of coal flow scanning system. (a) Scanning scene; (b) light stripe image

下载图片 查看所有图片

2.1　光条图像的特点

为了便于从模型和实验两方面对光条的运动模糊进行对照分析，搭建了线结构光测量实验平台，实验平台如图2所示，采集的光条图像如图3所示。观察实验采集的图像发现，线激光在物体表面会形成连续或非连续的光条线段，且这些光条线段在图像中的位置会因被测物的高低而不同：静止情况下的光条成像稳定清晰，如图3（a）所示；运动情况下物体表面成像因运动方向上物体表面高度差不同而明显不同，运动方向上无高度差的物体表面光条成像稳定清晰，与静止情况下的光条成像相近，如图3（b）所示；运动方向有高度差的物体表面光条成像模糊，光条宽度不一、亮度无规则变化，但模糊光条最亮部分与静止情况下的光条位置相近，如图3（c）所示。此外，运动方向无高度差的平整传送带上光条成像一直稳定清晰，实验采集的图像与图1中复杂煤流流量测量场景得到的图像类似，不同之处是皮带截面呈弧形且煤流表面高度在运动方向与横截面方向不连续，使光条亮度分布与模糊程度更加复杂。

图 2. 采集光条图像的实验平台

Fig. 2. Light stripe images collected by the experimental platform

下载图片 查看所有图片

图 3. 采集的光条图像。（a）静止物体表面E点的成像；（b）运动物体表面D、E点间的成像；（c）运动物体表面C、E点间的成像

Fig. 3. Light stripe image obtained by acquisition. (a) Imaging of point E on the surface of static object; (b) imaging between points D and E on the surface of moving objects; (c) imaging between points C and E on the surface of moving objects

下载图片 查看所有图片

2.2　光条图像运动模糊的原因分析

线激光可看作是一列激光点的集合，因此以单个激光点分析运动成像模糊的原因。激光点成像原理是相机感光元件在单次曝光中对激光点反射出的光强度时间积分成像^［14］。对于图4（a）所示的成像模型，在相机曝光时间内，物体运动的距离为A、B两点之间的水平距离，由于A、B两点无高度差，激光点在相机平面的成像位置不会因为物体运动发生变化，光点成像稳定清晰，其灰度值为相机固定区域感光元件接收光线的积分叠加，对应的实际成像效果如图3（b）所示。在图4（b）所示的成像模型中，相机曝光时间内物体运动距离为C、E两点的水平距离，但C、E两点间存在高度变化，因此激光点在相机平面的成像位置不是固定的，而是随高度的变化而变化，导致光点成像发生运动模糊，所得图像在运动方向上呈现出光带现象，且C、E两点之间水平高度一致区域（D、E两点之间）的成像区域为光带部分，对应的实际成像效果如图3（c）所示。可以发现，运动模糊产生的光带最亮部分对应曝光时间内物体表面出现最多的高度位置，若将成像光带最亮的部分提取为光带中心，就可根据三角测量原理计算其对应的高度值。为了便于说明与分析，将图4（b）中运动方向D、E两点之间的高度值固定，常见情形多为煤流高度在运动方向上的不规则变化，但产生运动模糊的光带最亮部分对应曝光时间内物体表面出现最多高度位置的结论仍然成立。激光线可看作很多光点横向连接而成，因此将曝光时间内成像的稳定清晰光点横向连接就能形成部分稳定清晰的光条，将模糊光带横向连接就能形成物体部分对应的模糊光条。

图 4. 光条成像模型。（a）运动方向无高度差；（b）运动方向存在高度差

Fig. 4. Light stripe imaging model. (a) There is no height difference in the movement direction; (b) there is a height difference in the movement direction

下载图片 查看所有图片

2.3　光条截面的灰度值分布特性

高斯激光线以一定宽度和亮度投射在物体表面，其光强理论上呈高斯分布^［15］。对图3（a）中稳定清晰的光条截面灰度值采样发现，其灰度分布也呈现类高斯分布特点，即中心亮度高，两侧亮度逐渐减小。由于相机成像是曝光时间内对激光线反射光强的积分叠加成像，当相机曝光度较大或入射相机的光强较大时，光条截面灰度值分布的波峰部分存在饱和区域，其截面多个像素灰度值等于饱和值，导致原本呈高斯分布的光条截面灰度值呈现平顶高斯分布特点，如图5（a）所示。对图3（c）中发生运动模糊的光条截面灰度值采样发现，因曝光时间内感光元件是对物体表面不同高度形成的光点积分成像，光条截面的灰度值分布呈多束高斯光束叠加的分布特点，且峰值附近区域也呈现类高斯分布特点，如图5（b）所示。同样，当相机曝光度较大或入射到相机的光强较大时，运动模糊光条截面灰度值分布的波峰部分也可能出现饱和，其峰值区域呈平顶高斯分布特点。

图 5. 光条截面的灰度值分布。（a）平顶高斯分布；（b）多束高斯叠加分布

Fig. 5. Gray distribution of light stripe cross section pixel. (a) Flat-top Gaussian distribution; (b) multi-beam Gaussian superposition distribution

下载图片 查看所有图片

线激光器投射的激光条纹中心亮度最大，尽管成像的光条截面灰度值分布受相机曝光量和运动模糊的影响不再符合单一的高斯分布特点，但其峰值附近区域仍对应曝光时间内物体表面出现最多的高度位置。因此，通过提取峰值区域的光条中心并使用激光三角法可以得到曝光时间内出现频率最高的高度值。由于曝光时间内相机无法提取其他辅助信息，上述方法计算的高度值是现有技术条件下误差最小的方法。峰值附近区域可能出现平顶高斯分布与类高斯分布，不同的分布情况需使用不同的中心提取算法^［16］。因此，将波峰部分是否饱和作为划分依据，将光条截面灰度值分布的峰值区域分成类高斯分布和平顶高斯分布两种类型，不饱和的波峰部分满足类高斯分布特点，饱和分布的波峰部分满足平顶高斯分布特点，为后续设计的光条中心位置提取算法提供了依据。

3　光条中心快速提取

基于对光条成像运动模糊的分析，设计了适用于运动模糊情况下的光条中心提取算法，具体流程如图6所示。首先，用小窗口高斯滤波减少复杂背景噪声并基于理论光条成像宽度的P-tile阈值分割算法^［17］得到背景像素灰度值为0的光条区域。然后，根据光条在图像中的分布特点用改进的区域生长算法^［18］快速定位光条区域。最后，根据光条分布特点提取其中心位置。

图 6. 光条中心快速提取算法的流程图

Fig. 6. Flow chart of the fast extraction algorithm for the center of the light strip

下载图片 查看所有图片

3.1　图像预处理

高速运动场景下相机采集的不同区域结构光光条图像宽度不一，亮度无规则变化，无法使用全局阈值法分割光条区域，需要逐列分割出光条区域。因此，使用小窗口高斯滤波器平滑图像后基于光条理论成像像素宽度的P-tile阈值算法提取光条区域。

P-tile阈值法通过目标像素面积占图像像素面积的百分比p计算灰度阈值。根据实际场景与激光发射器的参数得到光条理论成像像素宽度w，则

式中，c为图像像素的行数。计算得到p值后，逐列对像素灰度值进行统计获得各灰度值统计量Ni,i=0,…,255，即灰度值为i的像素数量，然后计算每一列的最大阈值k，并逐列将小于阈值k的像素置0，以分割出光条区域，可表示为

采用P-tile阈值法得到光条区域，光条的每一列像素宽度接近光条理论成像像素宽度w，极大程度地保留了光条区域内有用的核心区域信息。

3.2　光条区域的快速定位

经过P-tile阈值处理后仍会残留少量亮斑干扰，通常亮斑的像素列数远小于组成光条线段的像素列数，通过设定像素宽度阈值t可以有效滤除亮斑干扰。同时，使用区域生长法对光条进行定位时，可以根据像素宽度阈值设定扫描间隔优化初始种子点的搜索策略，减少对不含光条图像区域的访问。根据光条图像的特点，设计了改进的区域生长算法，实现对光条区域快速定位，具体算法流程如图7所示。其中：d为搜索到的光条线段最大列数，初始值为0；t为光条线段像素列数阈值，即像素扫描间隔；l为光条线段像素的列数。该算法流程主要由两部分组成，第一部分为寻找初始种子点（虚线框①），第二部分为初始种子点的区域生长（虚线框②）。

图 7. 光条区域快速定位算法的流程图

Fig. 7. Flow chart of the fast positioning algorithm in the light strip area

下载图片 查看所有图片

图8（a）为结构光光条搜索策略示意图。首先，从图像左上角开始间隔t列由上往下搜索第一个像素值大于0的点并将其作为初始种子点。然后，由初始种子点搜索与所在列连通像素生成初始种子列，并分别搜索初始种子列左侧邻域和右侧邻域的连通区域，如图8（b）所示。随后，将初始种子列及左右邻域的连通区域合并生成候选的光条线段区域：若该候选光条线段区域的像素列数小于光条线段像素列数阈值t，则认为该区域为亮斑并删除，然后重新向下搜索初始种子点进行区域生长；否则，认为该区域为定位到的光条线段区域并从此光条线段区域最右侧列间隔t个像素列搜索新的初始种子点完成区域生长。重复上述步骤，直至得到图像中所有光条线段区域。

图 8. 定位光条区域的策略。（a）全图定位策略；（b）区域生长策略

Fig. 8. Strategies for locating light strip area . (a) Full-map localization strategy; (b) regional growth strategy

下载图片 查看所有图片

3.3　中心提取算法

平顶高斯分布的光条截面中多个相邻像素灰度值等于饱和值，而类高斯分布的光条截面灰度值只有极值可能等于饱和值，这为判断光条截面的灰度值分布类型提供了依据。将像素灰度值有两个及两个以上等于饱和值的光条截面设为平顶高斯分布，其余设为类高斯分布。为了快速准确提取峰值附近区域的光心，选择适当的峰值附近区域范围内的点进行计算是关键。

1）类高斯分布的提取算法

若某列光条截面灰度值分布的波峰区域为类高斯分布类型，为了减少光条运动叠加的影响，选择波峰极值点及其左右共三个点，采用灰度重心算法求解此列的光心。根据灰度重心算法计算的中心坐标为

式中：x1和g1为光条区域某列灰度极值点的横坐标及灰度值；极值点的左侧点为x1-1，对应的灰度值为g2；极值点的右侧点为x1+1，对应的灰度值为g3。

2）平顶高斯分布的提取算法

若某列光条截面灰度分布的峰值附近区域为平顶高斯分布类型，由于饱和部分像素的实际灰度值大于饱和值，直接将饱和数值当作实际灰度值计算的中心坐标误差较大。此外，由于光条运动叠加的影响，距离峰值位置远的两侧非饱和像素对于光条中心求解不具有太高的指导价值。考虑到高速场景对于提取速度的要求，直接将光条截面灰度亮度峰值部分的中心作为光心^［19］。

通过上述方法可提取到像素级精度的光条中心，但受运动模糊的影响，相邻光条线段会有纵向遮挡部分，提取到的光条中心在图像列上不唯一。因此，需要对比光条线段相互遮挡部分中心像素的平均亮度并删除平均亮度较低的部分。

4　实验与分析

按照图2布置实验场景，用分辨率为1280 pixel×960 pixel的大华工业相机（A5131M/CU210）采集图像，截取光条待提取区域尺寸为760 pixel×400 pixel。安装投射一字线宽为0.05 mm的激光器，其理论成像像素宽度为5 pixel。根据选用的器材和测试环境固定测试物体在传送带上的位置，在静止情况下采集一张激光线投射在物体水平面（D、E点之间）的光条图像。在运动情况下采集5张单次曝光时间内激光线扫过D点发生不同程度运动模糊的光条图像，对应编号为1~5。

4.1　阈值分割算法的对比

为验证本算法中图像预处理方法对于运动模糊光条图像的处理效果，对图3（c）用高斯滤波器平滑后，分别使用极值法、大津法和P-tile阈值法进行处理，将低于阈值的像素灰度值置0，三种阈值分割方法的分割结果如图9所示。可以发现：极值法无法保留运动模糊的光条线段；大津法对于运动模糊的光条图像保留的光条区域范围过大，且受模糊程度的影响；P-tile阈值法分割的光条宽度一致，效果较好。原因是在运动模糊情况下光条截面的灰度值分布不再是单一类型，极值法和大津法使用单一全局阈值进行分割操作，没有考虑模糊光条线段和稳定清晰光条线段的区别，而P-tile阈值法针对光条截面的灰度值分布不同的特点，每列的阈值根据光条截面的灰度值分布变化而自适应变化。

图 9. 不同阈值法的分割结果。（a）极值法；（b）大津法；（c）P-tile阈值法

Fig. 9. Segmentation results of different threshold methods. (a) Extreme value method; (b) Otsu method; (c) P-tile threshold method

下载图片 查看所有图片

4.2　提取结果对比

对于光条中心提取精度的分析并没有统一且明确的方法^［20］。运动模糊图像的光条中心真值无法测得，即不能直接计算光条中心的标准误差，因此用激光三角法测量物体高度以反映光条中心提取方法引入的系统测量误差^［21］。此外，静止光条中心位置和运动模糊光条较亮部分对应的高度一致，光条像素中心位置也相同，且静止情况下光质均匀、稳定，灰度重心算法可以获得较好的提取结果^［22］。用灰度重心算法提取静止情况下图3（a）的中心坐标作为参考真值，然后用灰度重心算法、Steger算法、本算法对5张发生不同程度运动模糊的光条图像进行处理，以对比分析本算法的提取精度和速度。为了便于画线，对亚像素级坐标数值进行了取整处理。图10（a）为灰度重心算法对图3（a）的提取效果，图10（b）为灰度重心算法对图3（c）的提取效果，图10（c）为Steger算法对图3（c）的提取效果，图10（d）为本算法对图3（c）的提取效果。

图 10. 不同算法的提取结果。（a）灰度重心算法对图3（a）的提取结果；（b）灰度重心算法对图3（c）的提取结果；（c）Steger算法对图3（c）的提取结果；（d）本算法对图3（c）的提取结果

Fig. 10. Extraction results of different algorithms. (a) Extraction results of Fig. 3 (a) by the gray-scale centroid algorithm; (b) extraction results of Fig. 3 (c) by the gray-scale centroid algorithm; (c) extraction results of Fig.3 (c) by the Steger algorithm; (d) extraction result of Fig. 3 (c) by our algorithm

下载图片 查看所有图片

为验证本算法的实时性，分别用三种算法对5张图像进行100次中心提取，并计算平均运行时间。表1为三种算法对5张图像提取中心的误差分析结果和平均耗时。可以发现，本算法对5张图像的均方根误差（RMSE）都不超过0.4 pixel，且提取光条中心的速度最快，平均处理速度约为灰度重心算法的2倍，约为Steger算法的9倍。原因是本算法结合了光条截面的灰度值分布特点，既没有将饱和像素混入计算，也没有将极值两侧大量无关像素点作为相关点处理，而是选取光条极值附近区域的关键像素进行计算，避免了对大量无关像素的访问^［23］。

为了克服实际情况下光条中心坐标未知的问题，制作光条中心坐标已知，尺寸为600 pixel×240 pixel、像素宽度为8 pixel的类高斯激光图像、平顶高斯激光线图像和多束高斯激光叠加图像，并加入均值为0、标准差σ在1~50范围内的高斯分布噪声，如图11所示。分别用大津法结合灰度重心算法、P-tile阈值法结合灰度重心算法和本算法提取激光中心位置。不同算法提取的光条中心RMSE^［19］如表2所示。可以发现，本算法依然保持最低的误差，相较于传统算法，受高斯噪声的影响较小，对光条截面灰度值分布不同的光条图像中心提取效果均较好。

图 11. 不同分布模型的仿真图。（a）类高斯分布；（b）平顶高斯分布；（c）多束高斯叠加分布

Fig. 11. Simulation diagrams of different distribution models. (a) Gaussian-like distribution; (b) flat-topped Gaussian distribution; (c) multi-beam Gaussian superposition distribution

下载图片 查看所有图片

4.3　工业煤流图像结构光中心的提取

为验证本算法在实际复杂工业场景的应用效果，使用高速工业场景中煤流扫描图像对本算法的运行速度和提取效果进行验证。实际煤流工业场景采集的图像尺寸为800 pixel×340 pixel，根据现场设备安装情况计算得到线激光理论成像像素宽度为4 pixel，p值为0.012，设置像素扫描间隔为5 pixel，提取结果如图12所示。对图12中皮带上的光条（实线框）及其在煤流上对应的光条（虚线框）进行放大，如图13所示。可以发现，在复杂的煤流场景中，无论激光条纹是否发生运动模糊，运动模糊程度如何，本算法都能获得较准确的光条中心坐标，同时解决了运动模糊造成的光条纵向遮挡问题，使每列仅有唯一的光条中心，具有良好的鲁棒性。此外，对一段时长为60 s、每秒60 frame的煤流视频逐帧提取光条中心位置，实际用时仅为9.78 s。这验证了本算法在实际应用中的实时性。

图 12. 煤流表面线结构光中心提取结果

Fig. 12. Extraction results of linear structured light center on coal flow surface

下载图片 查看所有图片

图 13. 局部放大图。（a）皮带上的光条中心提取；（b）煤流上的光条中心提取

Fig. 13. Partial enlarged view. (a) Light strip center extraction on the belt; (b) light strip center extraction on the coal stream

下载图片 查看所有图片

5　结论

针对高速场景下线结构光成像发生运动模糊的问题，通过分析结构光成像特点和光条截面的灰度值分布，提出了一种基于光条截面灰度值分布的光条中心快速提取算法。实验结果表明，本算法能有效提取复杂运动模糊情况下的结构光光条中心，且实时性较高，为工业高速场景下可能遇到的运动模糊问题提供了分析方法和解决方案，这对于高速三维重建和物料流量检测等工业应用具有重要应用意义。但本算法目前还不能达到亚像素级检测精度，后续还需结合其他算法思想开展进一步的工作。