线结构光条纹中心提取方法

胡杨; 方素平

doi:doi:10.3788/LOP202158.0112005

激光与光电子学进展, 2021, 58 (1): 0112005, 网络出版: 2021-01-28

线结构光条纹中心提取方法下载： 646次

Extraction Method of Light Stripe Center of Linear Structure

论文大纲

胡杨 ^1,2方素平 ^1,2,*

作者单位

¹ 合肥工业大学工业与装备技术研究院,安徽合肥 230009

² 航空结构件成形制造与装备安徽省重点实验室,安徽合肥 230009

测量线结构光中心提取主成分分析灰度重心 measurement linear structured light center extraction principal component analysis gray center of gravity

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对线结构光条纹中心提取的效率和精度影响测量结果的问题,提出一种主成分分析与灰度重心相结合的方法。首先对图像进行高斯卷积并采用阈值分割法初步提取图像中有效的光条纹信息;然后计算光条纹图像的梯度分布和幅值,选取幅值为零的点作为初始点;接着采用主成分分析法得到点的法线方向,沿法线方向在初始点两侧以幅值最大的两点作为边界点;最后采用灰度重心法求出边界内的光条纹中心以确定下一个初始点,通过迭代处理提取光条纹中心。在平均处理时间以及方均根误差方面对所提方法进行验证。实验结果表明,所提方法的平均处理时间约为1.701 s,提取精度比Steger法少0.0500 pixel。

Abstract

In this study, a new extraction method combining principal component analysis and gray gravity center is proposed. The algorithm is used to solve the problem that the efficiency and accuracy of linear structured light stripe center extraction affect the measurement results. First, the image is subjected to Gaussian convolution. The threshold segmentation method is initially applied to extract the effective light stripe information from the image. Then, the gradient distribution and amplitude of the light stripe image are estimated, and the point with zero amplitude is considered to be the initial point. Subsequently, the principal component analysis is used to get the normal direction of the point. Along the normal direction, the two points with the maximum amplitude on both sides of the initial point are taken as boundary points. Finally, the gray center of gravity method is used to find the center of the light stripe within the boundary for determining the next initial point. The center of the light stripe is extracted through iteration. The proposed method is verified based on its average processing time and root mean square error. Experimental results show that the average processing time of the proposed method is approximately 1.701 s. Furthermore, the extraction accuracy of the proposed method is less than 0.0500 pixel compared with the Steger method.

1 引言

随着结构光测量技术的发展,线结构光测量法在表面质量检测^[1]、医疗诊断^[2]、三维重建^[3]和工业自动化^[4]等诸多领域发挥着越来越重要的作用。线结构光测量系统包含激光器和相机等设备,由激光器向被测物体表面投射光线,使用相机拍摄并形成光条纹图像,通过对图像的处理和分析可以得到被测物体表面的信息^[5-6]。图像中的光条纹通常具有一定的宽度,能否准确地提取光条纹中心是测量线结构光的关键步骤之一^[7]。

传统的光条纹中心提取方法有高斯近似法、重心法、线性插值法和抛物线估计法等^[8],但上述方法的提取精度较低,难以应用在对测量精度要求较高的工业测量领域。Steger^[9]利用了Hessian矩阵得到图像中条纹的法线方向,对结构光条纹横截面上的灰度分布函数进行二阶泰勒展开得到亚像素中心点的位置,该方法能够获得亚像素的提取精度,但计算复杂度高,很难满足工业实时检测的要求。胡斌等^[10]提出了一种利用可变方向模板检测结构光条纹中心的方法,该方法具有一定的抗噪能力,但计算量较大。高世一等^[11]针对不同的光条纹位置以及宽度的问题提出了变边限高斯拟合法,采用该方法对不同宽度的光条纹进行高斯拟合得到亚像素级的光条纹中心位置,但运行时间较长。蔡怀宇等^[12]提出了一种基于主成分分析的结构光条纹中心提取方法,采用主成分分析法可以得到条纹的法线方向,对条纹横截面上的灰度分布函数在法线方向上进行二阶泰勒展开得到条纹中心的精确位置,但对于拍摄强光源获得的结构光条纹图片,由于图片中灰度值饱和的像素点较多,这会影响提取精度。曾大为等^[13]依据线结构光图像灰度梯度的分布特性,提出了基于自适应模板的亚像素中心提取方法。曾超^[14]在传统灰度重心法的基础上提出了一种基于方向模板的中心提取算法,但初始点的灰度梯度对噪声敏感。刘剑等^[15]提出了一种基于Hessian矩阵与区域增长的激光条纹中心提取算法,但该算法对于宽度较大的光条纹需要大量的计算时间。

上述方法运算复杂,对光条纹图像的处理往往需要大量的时间。为了缩短光条纹中心的提取时间,本文提出一种线结构光条纹中心提取方法。采用该方法计算图像中像素点的灰度梯度和幅值,将幅值等于零的点作为初始点,采用主成分分析法确定初始点的法线方向,沿法线方向遍历初始点两侧的有效边界点,最后采用灰度重心法提取光条纹中心。

2 算法描述

2.1 光条纹区域分割

光条纹图像中包含背景信息和光条纹信息。背景信息在对测量结果产生影响的同时会增加图像处理的计算量,因此采用阈值分割法处理图像以粗略地分割光条纹信息,并将图像中的最大灰度值与最小灰度值的平均值作为阈值。

2.2 初始点的确定

将图像 $f (x, y)$ 与高斯函数 $g (x, y)$ 进行卷积,即卷积函数 $G (x, y) = f (x, y) \otimes g (x, y)$ ,该过程可以减少图像中噪声点的影响,其中（x,y）为图像中点的坐标,⊗为卷积符号。计算图像在不同方向上的灰度梯度 $G_{x}$ 和 $G_{y}$ 以及幅值 $|G (x, y)|$ ,计算过程为

\{\begin{matrix} G_{x} (x, y) = \frac{\partial G (x, y)}{\partial x} = \frac{\partial g (x, y)}{\partial x} \otimes f (x, y) \\ G_{y} (x, y) = \frac{\partial G (x, y)}{\partial y} = \frac{\partial g (x, y)}{\partial y} \otimes f (x, y) \end{matrix}, (1)

|G (x, y)| = \sqrt[]{G_{x}^{2} (x, y) + G_{y}^{2} (x, y)} 。 (2)

在图像中遍历出幅值为零的点 $P_{0} (i_{0}, j_{0})$ 并将该点作为初始点,其中 $(i_{0}, j_{0})$ 为该点的坐标。

2.3 计算初始点的法线方向

由初始点邻域内像素的梯度向量来构造协方差矩阵,采用主成分分析法^[12]来求解协方差矩阵的特征向量,从而获得光条纹的法线方向和切线方向。在大小为 $W$ 的邻域中建立协方差矩阵 $C$ ,可表示为

$C = [\begin{matrix} Cov (G_{x}, G_{x}) & Cov (G_{x}, G_{x}) \\ Cov (G_{y}, G_{x}) & Cov (G_{y}, G_{y}) \end{matrix}]$ $= [\begin{matrix} G_{xx} & G_{xy} \\ G_{xy} & G_{yy} \end{matrix}] 。 (3)$

式中：Cov（·）为协方差函数。求解（3）式的特征值 $λ_{1}$ 和 $λ_{2}$ 以及对应的特征向量 $v_{1}$ 和 $v_{2}$ ,表达式为

\{\begin{array}{l} λ_{1} = \frac{1}{2} (G_{xx} + G_{yy}) + \frac{1}{2} \sqrt[]{{(G_{xx} - G_{yy})}^{2} + 4 G_{xy}^{2}} \\ λ_{2} = \frac{1}{2} (G_{xx} + G_{yy}) - \frac{1}{2} \sqrt[]{{(G_{xx} - G_{yy})}^{2} + 4 G_{xy}^{2}} \end{array}, (4)

\{\begin{array}{l} v_{1} = [\begin{array}{l} \frac{1}{2} (G_{xx} - G_{yy}) + \frac{1}{2} \sqrt[]{{(G_{xx} - G_{yy})}^{2} + 4 G_{xy}^{2}} \\ G_{xy} \end{array}] \\ v_{2} = [\begin{array}{l} \frac{1}{2} (G_{xx} - G_{yy}) - \frac{1}{2} \sqrt[]{{(G_{xx} - G_{yy})}^{2} + 4 G_{xy}^{2}} \\ G_{xy} \end{array}] \end{array} 。 (5)

绝对值大的特征值所对应的特征向量即为初始点的法线方向。由（4）式和（5）式可知 $λ_{1} > λ_{2}$ ,故 $λ_{1}$ 所对应的特征向量 $v_{1}$ 为初始点的法线方向, $λ_{2}$ 所对应的特征向量 $v_{2}$ 为初始点的切线方向。

2.4 光条纹中心提取

在2.3节已确定初始点 $P_{0} (i_{0}, j_{0})$ 及其法线方向 $v_{1}$ ,沿着法线方向在初始点两侧分别找到幅值最大的点 $P_{1} (i_{1}, j_{1})$ 和 $P_{2} (i_{2}, j_{2})$ 并作为边界点,采用灰度重心法来求得中心点 $P_{c} (i_{c}, j_{c})$ 。

在中心点的切线方向上找到与中心点相连接且幅值最小的点并作为下次求解的初始点,重复2.3节和2.4节,最终提取出完整的光条纹中心曲线。

2.5 提取结果的精度

通过计算提取中心与标准中心的方均根误差（RMSE）来估计所提方法的提取精度,RMSE越小,说明方法的提取精度越高。RMSE的计算过程为

ε = \sqrt[]{\frac{\sum_{N} [{(i_{p} - i_{c})}^{2} + {(j_{p} - j_{c})}^{2}]}{N}}, (6)

式中： $(i_{p}, j_{p})$ 为标准中心的坐标; $N$ 为参与计算的点个数。

3 实验结果和分析

在Visual Studio 2010开发环境下,采用所提方法对分辨率为1380 pixel×800 pixel的图像进行处理,处理过程与结果如图1所示。其中图1（a）和图1（b）分别为原始图像和经过阈值分割后的图像,图1（c）为光条纹两侧的边界点图像,图1（d）和图1（e）分别为提取结果和部分中心点的法线方向,图1（f）为提取结果的局部图像。

图 1. 光条纹中心的提取过程。（a）原始图像;（b）阈值分割后的图像;（c）光条纹边界;（d）提取结果;(e) 部分中心点的法线方向;(f)局部提取结果

Fig. 1. Extraction process of light stripe center. (a) Original image; (b) image after threshold segmentation; (c) light stripe boundary; (d) extraction result; (e) normal direction of partial center points; (f) local extraction result

下载图片查看所有图片

为了验证所提方法对光条纹形状的适应性,在相同的实验条件下对不同形状的光条纹进行中心提取,提取结果如图2所示。

表 1. 每种方法的平均处理时间和RMSE

Table 1. Average processing time and RMSE for each method

Image No.	Average processing time/s		RMSE/pixel
Image No.	Steger algorithm	Proposed algorithm	RMSE/pixel
Fig. 1(a)	50.435	1.887	0.224
Fig. 2(a)	50.667	1.474	0.129
Fig. 2(c)	49.572	1.741	0.185

查看所有表

表 2. 两种方法的RMSE对比

Table 2. RMSE comparison of two methods

Image No.	σ	RMSE/pixel
Image No.	σ	Steger algorithm	Proposed algorithm
1	0	0.0025	0.0032
2	0.2	0.0076	0.0082
3	0.4	0.0147	0.0159
4	0.6	0.0216	0.0325
5	0.8	0.0289	0.0428
6	1.0	0.0371	0.0809

查看所有表

图 2. 不同形状的光条纹中心的提取结果。（a）直线光条纹;（b）直线光条纹的提取结果;（c）V形光条纹;（d）V形光条纹的提取结果

Fig. 2. Extraction results of light stripe centers of different shapes. (a) Straight light stripe; (b) extraction result of straight light stripe; (c) V-shaped light stripe; (d) extraction result of V-shaped light stripe

下载图片查看所有图片

从图2可以看到,所提方法能够提取不同形状的光条纹的中心,且对于非连续的光条纹具有较好的提取效果。采用Steger法和所提方法处理上述光条纹图像各50次,计算每种方法的平均处理时间以及RMSE,结果如表1所示。

从表1可以看到,当处理大小相同的光条纹图像时,所提方法的平均处理时间约为1.701 s,Steger法的平均处理时间约为50.225 s,由此可见所提方法的处理速度比Steger法提高近30倍,且两种方法的RMSE均小于0.250 pixel。

使用计算机绘制一幅已知中心线位置的光条纹图像,如图3所示。

图 3. 待处理图像。（a）光条纹图像;（b）光条纹截面灰度分布曲线

Fig. 3. Image to be processed. (a) Light stripe image; (b) gray distribution curve of light stripe section

下载图片查看所有图片

为了进一步验证所提方法的提取精度,在图3（a）中添加均值为0和标准差 $σ$ 为0~1的高斯噪声,并分别采用Steger法和所提方法对添加不同程度噪声的图像进行处理,计算每种方法提取的光条纹中心与标准中心的RMSE,计算结果如表2所示。

从表2可以看到,Steger法的RMSE为0.0025~0.0371 pixel,所提方法的RMSE为0.0032~0.0809 pixel,由此可见两种方法都具有较高的提取精度,且两个方法的RMSE的偏差小于0.0500 pixel。

4 结论

本课题组提出一种结合主成分分析和灰度重心的光条纹中心提取方法,采用该方法计算像素点的灰度梯度和幅值,采用主成分分析法获取光条纹的法线方向,通过遍历法线方向幅值最大的像素点来得到光条纹可靠的边界点,最后在边界点内采用灰度重心法计算光条纹中心的精确位置。实验结果表明,所提方法的通用性较高,既能够对直线形、曲线形和V形光条纹等复杂形状的光条纹图像进行处理,对于不连续的光条纹也具有较好的提取效果。与Steger法相比,所提方法的提取速度提高近30倍,且两个方法的精度偏差小于0.05 pixel。

参考文献

[1] Liu Z, Li F, Huang B K, et al. Real-time and accurate rail wear measurement method and experimental analysis[J]. Journal of the Optical Society of America A, 2014, 31(8): 1721-1729.

[2] MauriceX, AlbitarC, DoignonC, et al. A structured light-based laparoscope with real-time organs' surface reconstruction for minimally invasive surgery[C]//2012 Annual International Conference of the IEEE Engineering in Medicine and Biology Society, August 28-September 1, 2012, San Diego, CA, USA. New York: IEEE, 2012: 5769- 5772.

[3] 田庆国, 葛宝臻, 杜朴, 等. 基于激光三维扫描的人体特征尺寸测量[J]. 光学精密工程, 2007, 15(1): 0100002.

Tian Q G, Ge B Z, Du P, et al. Measurement of human figure size based on laser 3D scanning[J]. Optics and Precision Engineering, 2007, 15(1): 0100002.

[4] HansenK, PedersenJ, SølundT, et al. A structured light scanner for hyper flexible industrial automation[C]//2014 2nd International Conference on 3D Vision, December 8-11, 2014, Tokyo, Japan. New York: IEEE, 2014: 401- 408.

[5] 李爱娟, 辛睿, 武栓虎. 高效线结构光视觉测量系统标定方法[J]. 激光与光电子学进展, 2019, 56(22): 221505.

Li A J, Xin R, Wu S H. Efficient calibration method for line-structured light vision measurement system[J]. Laser & Optoelectronics Progress, 2019, 56(22): 221505.

[6] 陈锋, 陈五一, 陈志同. 基于激光三角法的CBN杯形砂轮表面形貌检测[J]. 北京航空航天大学学报, 2011, 37(10): 1321-1325.

Chen F, Chen W Y, Chen Z T. Laser triangulation based measurement about the surface 3D topography of a cup CBN grinding wheel[J]. Journal of Beijing University of Aeronautics and Astronautics, 2011, 37(10): 1321-1325.

[7] 李莹莹, 张志毅, 袁林. 线结构光光条中心提取综述[J]. 激光与光电子学进展, 2013, 50(10): 100002.

Li Y Y, Zhang Z Y, Yuan L. Survey on linear structured light stripe center extraction[J]. Laser & Optoelectronics Progress, 2013, 50(10): 100002.

[8] 贾倩倩. 基于闭合光刀法的多摄像机自由曲面测量关键技术研究[D]. 北京: 清华大学, 2009.

Jia QQ. Research on measurement of free-form surface based on light sectioning method using multiple cameras[D]. Beijing: Tsinghua University, 2009.

[9] Steger C. An unbiased detector of curvilinear structures[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(2): 113-125.

[10] 胡斌, 李德华, 金刚, 等. 基于方向模板的结构光条纹中心检测方法[J]. 计算机工程与应用, 2002, 38(11): 59-60, 109.

Hu B, Li D H, Jin G, et al. New method for obtaining the center of structured light stripe by directi on template[J]. Computer Engineering and Applications, 2002, 38(11): 59-60, 109.

[11] 高世一, 杨凯珍. 变边限高斯拟合提取激光条纹中心线方法的研究[J]. 仪器仪表学报, 2011, 32(5): 1132-1137.

Gao S Y, Yang K Z. Research on central position extraction of laser strip based on varied-boundary Gaussian fitting[J]. Chinese Journal of Scientific Instrument, 2011, 32(5): 1132-1137.

[12] 蔡怀宇, 冯召东, 黄战华. 基于主成分分析的结构光条纹中心提取方法[J]. 中国激光, 2015, 42(3): 0308006.

Cai H Y, Feng Z D, Huang Z H. Centerline extraction of structured light stripe based on principal component analysis[J]. Chinese Journal of Lasers, 2015, 42(3): 0308006.

[13] 曾大为, 徐贵力, 程月华, 等. 基于自适应模板线结构的光条中心亚像素提取方法[J]. 光电子技术, 2018, 38(2): 117-121.

Zeng D W, Xu G L, Cheng Y H, et al. Subpixel extraction of linear structured light stripe center based on adaptive template[J]. Optoelectronic Technology, 2018, 38(2): 117-121.

[14] 曾超, 王少军, 卢红, 等. 线结构光光条中心提取算法[J]. 中国图象图形学报, 2019, 24(10): 1772-1780.

Zeng C, Wang S J, Lu H, et al. Center extraction algorithm of line structured light stripe[J]. Journal of Image and Graphics, 2019, 24(10): 1772-1780.

[15] 刘剑, 刘丽华. 基于海森矩阵与区域增长的激光条纹中心提取[J]. 激光与光电子学进展, 2019, 56(2): 021203.

Liu J, Liu L H. Laser stripe center extraction based on hessian matrix and regional growth[J]. Laser & Optoelectronics Progress, 2019, 56(2): 021203.

胡杨, 方素平. 线结构光条纹中心提取方法[J]. 激光与光电子学进展, 2021, 58(1): 0112005. Hu Yang, Fang Suping. Extraction Method of Light Stripe Center of Linear Structure[J]. Laser & Optoelectronics Progress, 2021, 58(1): 0112005.

线结构光条纹中心提取方法下载： 646次

1 引言

2 算法描述

2.1 光条纹区域分割

2.2 初始点的确定

2.3 计算初始点的法线方向

2.4 光条纹中心提取

2.5 提取结果的精度

3 实验结果和分析

图 1. 光条纹中心的提取过程。（a）原始图像;（b）阈值分割后的图像;（c）光条纹边界;（d）提取结果;(e) 部分中心点的法线方向;(f)局部提取结果

Fig. 1. Extraction process of light stripe center. (a) Original image; (b) image after threshold segmentation; (c) light stripe boundary; (d) extraction result; (e) normal direction of partial center points; (f) local extraction result

表 1. 每种方法的平均处理时间和RMSE

Table 1. Average processing time and RMSE for each method

表 2. 两种方法的RMSE对比

Table 2. RMSE comparison of two methods

图 2. 不同形状的光条纹中心的提取结果。（a）直线光条纹;（b）直线光条纹的提取结果;（c）V形光条纹;（d）V形光条纹的提取结果

Fig. 2. Extraction results of light stripe centers of different shapes. (a) Straight light stripe; (b) extraction result of straight light stripe; (c) V-shaped light stripe; (d) extraction result of V-shaped light stripe

图 3. 待处理图像。（a）光条纹图像;（b）光条纹截面灰度分布曲线

Fig. 3. Image to be processed. (a) Light stripe image; (b) gray distribution curve of light stripe section

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

线结构光条纹中心提取方法 下载： 646次

1 引言

2 算法描述

2.1 光条纹区域分割

2.2 初始点的确定

2.3 计算初始点的法线方向

2.4 光条纹中心提取

2.5 提取结果的精度

3 实验结果和分析

图 1. 光条纹中心的提取过程。（a）原始图像;（b）阈值分割后的图像;（c）光条纹边界;（d）提取结果;(e) 部分中心点的法线方向;(f)局部提取结果

Fig. 1. Extraction process of light stripe center. (a) Original image; (b) image after threshold segmentation; (c) light stripe boundary; (d) extraction result; (e) normal direction of partial center points; (f) local extraction result

表 1. 每种方法的平均处理时间和RMSE

Table 1. Average processing time and RMSE for each method

表 2. 两种方法的RMSE对比

Table 2. RMSE comparison of two methods

图 2. 不同形状的光条纹中心的提取结果。（a）直线光条纹;（b）直线光条纹的提取结果;（c）V形光条纹;（d）V形光条纹的提取结果

Fig. 2. Extraction results of light stripe centers of different shapes. (a) Straight light stripe; (b) extraction result of straight light stripe; (c) V-shaped light stripe; (d) extraction result of V-shaped light stripe

图 3. 待处理图像。（a）光条纹图像;（b）光条纹截面灰度分布曲线

Fig. 3. Image to be processed. (a) Light stripe image; (b) gray distribution curve of light stripe section

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

线结构光条纹中心提取方法下载： 646次