基于结构光的高反物体三维形貌测量方法

杨鹏斌; 邓林嘉; 陈元; 伏燕军; 徐天义; 王霖

doi:doi:10.3788/CJL201946.0204004

中国激光, 2019, 46 (2): 0204004, 网络出版: 2019-05-09

基于结构光的高反物体三维形貌测量方法下载： 2230次

Three-Dimensional Shape Measurement of Highly Reflective Objects Based on Structured Light

论文大纲

杨鹏斌 ^*邓林嘉陈元伏燕军徐天义王霖

作者单位

南昌航空大学无损检测技术教育部重点实验室, 江西南昌 330063

测量高反物体高光消除空洞修补 measurement high-reflection objects highlight eliminating hollow repair

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

提出了一种用于大面积高反物体的三维形貌测量方法。基于双色反射模型理论,提取了相机采集的条纹图像的漫反射分量,通过改进的反射分量分离算法对图像进行反射分量分离;对反射分量分离产生的图像空洞采用改进的种子填充算法进行修补;用三步相移结合质量引导算法得到连续相位,由系统标定的相位高度映射关系得到物体的高度信息。实验结果表明:所提方法实测误差约为0.23 mm,消除了93%~97%的高光像素,有效克服了反射光的干扰,对大面积反射光具有较好的稳健性。

Abstract

A three-dimensional shape measurement method for large-area and high-reflection objects is proposed. Based on the theory of two-color reflection model, the diffuse reflection components of the fringe image collected by the camera are extracted. The reflection component of the image is separated by the improved reflection component separation algorithm. And the improved seed search algorithm is used to repair the image hollow caused by the reflection component separation. The three-step phase shift and quality guide algorithm are used to obtain the continuous phase. And the height information of the object is obtained by the phase height mapping relationship calibrated by the system.. The experimental results show that the measured error of this method is about 0.23 mm, which can eliminate 93%-97% of the number of high-light pixels, effectively overcomes the reflected light interference, and has good robustness for large-area reflected light.

1 引言

三维形貌测量技术^[1-3]在工业制造、逆向工程、虚拟现实等诸多领域具有广泛应用。形式多样和结构复杂的高反射曲面具有高反射性质,加工测量这类曲面的难度比较大。采用结构光三维重建方法能够快速地重建出曲面面形,但对表面高反光的物体进行重建时,会出现大面积的错误数据。因此,解决高反表面引起的数据错误是实现结构光测量高反物体^[4-6]的难题。对此,国内外学者进行了一系列研究。在基于颜色信息进行高光区域数据恢复的理论基础,Shaffer提出了双色反射模型^[7]。Sato等^[8]发现在RGB颜色空间中,漫反射像素和高光像素形成T形颜色分布,对颜色矢量进行分离就能去除高光。但由于噪声的存在,去除效果并不理想。Yoon等^[9]通过分析多幅图像的颜色信息对高光进行分离,但这需要保证相邻像素点有相同的反射特性,不适合用于具有强烈高反射性质的高光物体。Tan等^[10]利用单幅图片进行镜面反射分离,这种方法不需要颜色分割,且可适用于表面纹理复杂的物体。Tan等^[7]通过比较高光和漫反射光的色度特性,结合光照约束条件引入补色方法,设计出去除高光并还原漫反射分量的新算法。刘元坤等^[11]提出了针对类镜面物体表面的测量方法,将不同的物体作为投射光源,以减少采集图像中的高光。姜宏志等^[12]提出了用于强反射表面形貌测量的投影栅相位法,投射亮暗条纹,多时间曝光采集,点云数据准确率可达99.6%。Shen等^[13]提出了一种彩色图像反射分离的方法,实现了单像素级的反射分离,不需要图像分割,不需要相邻像素之间的局部交互。肖朝等^[14]利用结构光调制度与亮度成正比的特性,使用结构光调制度信息来替代传统的光强亮度信息进行多投影拼接融合。刘飞等^[15]通过投射区域格雷编码灰度图来计算饱和区域的位置,然后增加过渡补偿区域,平滑降低饱和区域的条纹光栅投射强度,提高了表面高反物体的三维重建质量。Chen等^[16]提出了自适应投影强度调整方法,该方法可以避免在高反射率范围内测量目标时的图像饱和,可以保持良好的条纹调制。Sun等^[17]根据反射分量分离理论提出了反射分量分离与像素填补相结合的改进算法,该方法可使高光像素数目显著减少,从而减小高光部分对结构光三维测量精度的影响。

针对上述问题,本文提出了一种基于反射分量分离理论的改进高光去除方法,与改进种子填充算法相配合,使结构光三维测量技术可以适用于陶瓷、金属等具有高反性质的物体测量。该方法的优点是完全基于颜色信息,不依赖物体的几何信息,填充结果忠于原始图像,测量范围广。在算法上,通过两种去除高光方法的逻辑求交运算,可精确选择高光区域,通过改进后的种子填充算法对去除后的空洞进行填充,在去除高光的同时保证了颜色信息,减小了物体表面的高光对测量精度的影响。

2 结构光投影测量

采用结构光投影系统对高反物体的三维轮廓进行测量时,将正弦光栅投影技术和数字相移技术融合,采用漫反射光源。系统由投影仪、电荷耦合器件 (CCD)、计算机组成,如图1所示。

图 1. 条纹投影系统原理图

Fig. 1. Definition of the aperture for beam transmission

下载图片查看所有图片

CCD相机采集到的条纹图强度可表示为

I (x, y) = A (x, y) + B (x, y) \cdot \cos [2 π f_{0} (x, y) x + φ (x, y)], (1)

式中:A、B分别为背景光强和调制光强;f₀为条纹频率;φ(x,y)为受物面调制产生的相位。通过相位分离算法从总相位中分离提取出感兴趣的φ(x,y),即可求出待测物体的轮廓信息。包裹相位的计算公式为

\begin{matrix} φ (x, y) = \arctan \frac{I_{1} (x, y) - 2 I_{2} (x, y) + I_{3} (x, y)}{I_{1} (x, y) - I_{3} (x, y)}, (2) \end{matrix}

式中:I₁(x,y)、I₂(x,y)和I₃(x,y)分别为正弦条纹第1、2、3次相移后投影到物体表面而产生的变形条纹图的强度。对截断相位解缠就可得到连续相位。由系统标定的相位高度映射关系^[18-20]可以得到物体的高度,从而实现物体的三维轮廓测量。

3 高光消除

3.1 双色反射模型

非均匀光照下高光的形成受两方面因素的影响:物体表面反射率和光照强度。描述高光图像的双色反射模型^[5]为

I (x) = m_{d} (x) f_{Ω} S (λ, x) E (λ) dλ + m_{s} (x) f_{Ω} E (λ) dλ, (3)

式中:λ为光谱波长;Ω为可见光谱;I(x)=[I_r,I_g,I_b]^T为图像像素点的颜色向量;x=(x,y)为像素坐标;m_d和m_s分别为漫反射和镜面反射系数;S(λ)为漫反射功率谱;E(λ)为强反射功率谱。假设光照颜色一致,即镜面反射颜色等于光照颜色。为简单起见,将双色反射模型表示为

\begin{matrix} I (x) = m_{d} (x) B (x) + m_{s} (x) G, (4) \end{matrix}

式中:B(x)=∫_ΩS(λ)E(λ)q(λ)dλ为漫反射分量;G=∫_ΩE(λ)q(λ)dλ为镜面反射分量;m_d(x)和m_s(x)分别为漫反射和镜面反射系数。将(4)式变换为关于色度的公式,即

\begin{matrix} I (x) = ω_{d} (x) Λ (x) + ω_{d} (x) Γ 。 (5) \end{matrix}

式中:像素点的漫反射色度Λ(x)= $\begin{matrix} \frac{B (x)}{B_{r} (x) + B_{g} (x) + B_{b} (x)} \end{matrix}$ (下标r、g、b分别表示R、G、B三通道);镜面反射色度Γ(x)= $\begin{matrix} \frac{G (x)}{G_{r} (x) + G_{g} (x) + G_{b} (x)} \end{matrix}$ 。像素点的强度可由镜面反射色度和漫反射色度表示,因此漫反射系数为ω_s(x)=m_s(x)[G_r(x)+G_g(x)+G_b(x)],镜面反射系数为ω_d(x)=m_d(x)[B_r(x)+B_g(x)+B_b(x)],可用最小二乘法求解。

3.2 高光区域的选择

反射分离(SF)图像^[15]不存在高光影响,且可以保持物体表面的几何形变。假设相邻像素的最大漫反射色度具有连续性,利用迭代方法将高光像素的最大漫反射色度收敛到与邻域漫反射的最大色度一致,即可实现高光去除。之后,在SF图像的基础上提出改进的反射分离(MSF)图像^[16]的概念,通过自适应阈值将图像大致划分为漫反射点和高光点,然后利用原始图像在色度图中的信息,找出高光像素对应的漫反射色度,最后采用最小二乘法对高光分量和漫反射分量进行求解。去除高光的过程分为两步:1)根据灰度大小聚类漫反射像素和高光像素;2)对高光像素进行搜索,寻找与其体色度接近的漫反射像素并替换,即可得到消除高光后的图像。MSF图像的计算过程如下

\begin{matrix} I_{msf, i} = ω_{d} [I_{i} (x) - I_{i, \min} (x)] + {\bar{I}}_{\min}, (6) \end{matrix}

其中

{\bar{I}}_{\min} = \frac{\sum I_{\min} (x)}{N}, (7)

I_{i, \min} (x) = \min {I_{1} (x), I_{2} (x), I_{3} (x)} 。 (8)

将(8)式改写为

\begin{matrix} I_{i, \min} (x) = ω_{d} (x) Λ_{\min} (x) + ω_{s} (x) Γ_{\min}, (9) \end{matrix}

将I_i-I_maf,_i与阈值t₁进行比较,可以将图像像素粗略地划分为高反像素和漫反射像素:

\begin{matrix} I_{i} - I_{msf, i} \{\begin{matrix} > t_{1} & specular \\ < t_{1} & diffuse \end{matrix}, (10) \end{matrix}

式中:I_i(x)为像素x的第i个通道的颜色值;i为像素颜色通道序号; $\begin{matrix} {\bar{I}}_{\min} \end{matrix}$ 为整幅图像最小颜色值的平均值;N为整幅图像的像素点个数。当 I_i(x)和I_i_,min(x)的值很接近时,它们的差值接近零,所以获得的图像会比原始图像更暗,在不影响后续处理的基础上可以加上 $\begin{matrix} {\bar{I}}_{\min} \end{matrix}$ 或 $\begin{matrix} {\bar{I}}_{\max} \end{matrix}$ 调整图像亮度。经过此次像素分类后,高光像素和漫反射像素已得到初步粗略区分,但当I_i-I_msf,_i大于 $\begin{matrix} {\bar{I}}_{\min} \end{matrix}$ 时,判断像素既可能为强反射像素又可能是噪声,因此必须进行二次分类,以保证像素分类的精确性。

色度距离指的是两个颜色之间的差距,通常距离越大,两个颜色相差越大;反之,两个颜色越相近。但是,由于RGB空间是线性的并且相互正交,而人眼的视觉系统并不是线性的,RGB空间并不能反映人眼对颜色的感知,相对应的颜色距离也不能很好地反映两个颜色是否相近。据此本研究引入色度距离作为第二判定条件。其中MSF图像的色度计算方法为

C_{msf, i} = \frac{I_{msf, i} (x)}{\sum_{i} I_{msf, i} (x)} = \frac{I_{sf, i} (x) + {\bar{I}}_{\min}}{\sum_{i} I_{msf, i} (x) + 3 {\bar{I}}_{\min}} = \frac{a (x) (I_{b, i} - I_{b, \min}) + {\bar{I}}_{\min}}{a (x) \sum_{i} (I_{b, i} - I_{b, \min}) + 3 {\bar{I}}_{\min}} 。 (11)

像素a和b在图像中的色度距离定义为

\begin{matrix} D_{\overset{,}{a}} = |C_{msf, a} - C_{msf, b}|, (12) \end{matrix}

式中: $\begin{matrix} D_{\overset{,}{a}} \end{matrix}$ 为像素a、b之间的色度距离;C_msf,_a与C_msf,_b分别为像素a、b在MSF图像中的色度值,当两个像素间的色度距离小于某一阈值时,可将其归为同一聚类。在颜色均匀的表面,两像素点间的色度距离非常小。如果色度距离大于阈值t₁,则说明此处颜色分布不均匀,即存在异于周围像素的高光像素。对于大多数图像,阈值t₁通常设为0.05。选取两个像素的色度距离与阈值进行比较,当色度距离大于0.05且符合(10)式时,认定该像素为高光像素,之后对整幅图像的所有像素进行迭代比较,最终确定整幅图像的高光区域。

3.3 改进的强反射分量去除方法

根据双色反射模型,像素点颜色可以表示为该点体色度和光源色度的线性组合。高光像素的最大色度是随图像强度变化的,而漫反射像素是不随之改变的。如何寻找与高光像素体色度接近的漫反射像素,并用漫反射像素的体色度将其替换是解决问题的关键。为避免体色度^[16]错选而造成图像失真,仅在高光像素所在的连通区域寻找替换。高光反射分量去除的具体步骤为:针对高光像素选择它的连通区域G,通过膨胀确定环绕连通区域G的封闭区域H;计算连通域中像素与膨胀封闭区域内像素的最小色度距离d;若d小于预先设定的阈值t₂,则用漫反射对应的体色度将高光像素的体色度替换;若d大于预先设定的阈值t₂,则确定连通区域G中小于2×t₂的所有像素集合,并用集合内像素的最小通道值替换集合内的所有像素体色度,最后根据双色反射模型计算每个像素对应的漫反射和镜面反射分量。具体流程如图2所示。

图 2. 去除高光的流程图

Fig. 2. Flow chart of removing highlights

下载图片查看所有图片

3.4 基于种子填充的改进算法

种子填充算法的核心是递归算法,从指定的种子点开始,向各个方向搜索,逐像素进行处理,直到遇到边界。不同的种子填充算法只是在处理颜色和边界的方式上有所不同。4-联通算法和8-联通算法是种子填充算法的关键概念。如图3(a)所示,假设中心的蓝色点是当前处理的点,如果是4-联通算法,则只搜索处理周围蓝色标识的4个点,如果是8-联通算法,则除了处理上、下、左、右4个蓝色标识点,还需要搜索处理4个红色标识的点,两种搜索算法的填充效果如图3(b)、(c)所示。当图像中的高光分量所占比重过大时,采用上节所述方法去除高光像素之后,图像会产生像素值明显异于周围像素的数据空洞。对于这些数据空洞,采用基于种子搜索填充的改进算法进行填充。

图 3. 填充效果图。(a)待处理像素;(b) 4-联通填充效果图;(c) 8-联通填充效果图

Fig. 3. Fill effect images. (a) Pending pixel; (b) 4-unicom filling effects image; (c) 8-unicom filling effects image

下载图片查看所有图片

该算法从需要填充区域的外边界开始,逐渐缩小填充区域,直至填充区域大小为零。先填充的像素点作为后填充像素点的临近像素,又被作为后填充点的填充基准,所以像素点的填充顺序会影响修复的效果。本研究通过定义优先级来决定填充顺序,每次仅修复优先级最高的像素点,然后更新该点附近像素的优先级,进一步决定修复对象。对像素的优先级定义为

\begin{matrix} \bar{v} (p, q) = \overset{p \in [2, m - 1]}{\sum_{q \in [2, n - 1]}} k (p, q) v (p, q), (13) \end{matrix}

式中:m、n为填充区域的尺寸,p、q分别为像素的行数和列数;k(p,q)为权函数,主要由像素点之间的距离决定; $\begin{matrix} \bar{v} \end{matrix}$ (p,q)为像素v的灰度值。在填充像素的联通域内,已知像素越多,填充效果就越好。具体的像素填充过程如下:

1) 对输入的图像生成掩模,即找出需要填充的像素区域P。

2) 先使用边界跟踪算法对原图像进行膨胀操作,然后以膨胀后的图像减去原图像,得到需填充的像素边界δ_P。

3) 根据漫反射图像建立填充像素与边界像素之间的关系。满足以下任一条件都需要进行填充处理。条件1):寻找边界δ_P的最小灰度值,与P中最大灰度像素作差得到差值d,相邻像素作差大于d时;条件2):去除高光分量之后灰度值小于等于10的像素。

4) 确定像素区域P的大小[m,n],选取P中的像素点v(p,q),从x轴方向进行搜索时,外部循环范围为[2,m-1];从y轴方向进行搜索时,内部循环范围为[2,n-1]。不同填充方向的差值d可能需要进行适当调整,以便达到最佳的填充效果。

高光分离并经像素填充后,如果发现4-联通算法的填充效果不好,可采用8-联通算法扩大搜索范围,直至找到符合条件的像素。应根据应用环境和实际需求来选择联通搜索方式,一般情况下,采用4-联通算法就能得到正确的结果。

4 实验结果与分析

测量系统的硬件有投影仪、CCD相机和计算机。采用的投影仪为XL3DS-L型三维扫描仪,图像分辨率为1280 pixel×1024 pixel;CCD相机为Daheng HV1351 μm,分辨率为1280 pixel×1024 pixel。条纹投影测量系统如图4所示。

图 4. 实验系统结构图

Fig. 4. Experimental system structure

下载图片查看所有图片

将原始图像转换为MSF图像,经过与 $\begin{matrix} {\bar{I}}_{\min} \end{matrix}$ 进行比较后对MSF图像进行初步粗分类,此时的分类结果通过后续的色度阈值判断才更准确。MSF

图像以及像素粗分类结果如图5所示,图5(a)所示为原始图像对应的MSF图像,图5(b)所示为粗分类后的反射分量图,图5(c)所示为粗分类后的漫反射分量图。

对MSF图像进行像素粗分类后,噪声可能会被当作高光像素进行处理,因此需要进行进一步判断。色度距离指的是两个颜色之间的差距,距离越大,两个颜色相差越大;反之,两个颜色越相近。据此对噪声和高光像素进行区分,并进行体色度替换得到最终的色度图。图6(a)所示为原始色度图,图6(b)所示为反射分量色度图,图6(c)所示为漫反射分量色度图。

图 5. MSF图像以及像素粗分类结果。(a)MSF图像;(b)像素粗分类后的反射分量图;(c)像素粗分类后的漫反射分量图

Fig. 5. MSF image and images of pixel rough classification. (a) MSF image; (b) reflection component map after pixel rough classification;(c) diffuse reflection component map after pixel rough classification

下载图片查看所有图片

图 6. 色度图。(a)原始色度图;(b)反射分量色度图;(c)漫反射分量色度图

Fig. 6. Chromaticity images. (a) Original chromaticity image; (b) reflection component chromaticity image; (c) diffuse reflection component chromaticity image

下载图片查看所有图片

对带有条纹的金属工件进行高光分离,得到的漫反射分量图和反射分量图如图7示:图7(a)为含有高光的原始图像,图7(b)是进行高光分离后的漫反射分量图,图7(c)是原始图像对应的反射分量图。因原始图像中的反射分量比重过大,高光分离后的图7(b)中存在数据空洞,后续实验对其进行了填充和三维重建。

图 7. 处理前后对比图。(a)原始图像;(b)处理后漫反射分量图像;(c)处理后镜面反射分量图像

Fig. 7. Images before and after processing. (a) Original image; (b) diffuse reflection component image after processing; (c) specular component image after processing

下载图片查看所有图片

10 cm×10 cm的工业金属工件如图8所示,投影正弦条纹采集到的图像如图7(a)所示。图8中的高反区域为图9中的红框区域。图9(a)是采用文献[ 10]的方法进行填充后的结果,而图9(b)是采用所提方法填充后的图像。原始图像中的高反区域面积约为1.5 cm×10 cm,采用所提方法处理后,高反面积基本完全消除,处理了93%以上的高反像素。这是因为本研究中确定的阈值更符合实际情况,并且引入了权函数进行判断,有效降低了填充误差。

图 8. 工业金属工件

Fig. 8. Industrial metal workpiece

下载图片查看所有图片

图 9. 采用不同方法处理后的对比图。(a)采用文献[ 10]的方法;(b)采用所提方法

Fig. 9. Comparison images processed with different methods. (a) Image obtained with the method in ref. [10]; (b) image processed with the proposed method

下载图片查看所有图片

高光分离并进行填充后,分别以灰度值240、120、100对原图、漫反射分量图和处理后图像进行遍历,统计像素数量,并生成条形图,结果如图10(a)所示。图10(b)所示为分别在原始图像和处理后图像上,选取含有高光的像素行生成灰度变化的曲线图。由图10(a)可以看出,原始图像中灰度值大于240的高光像素被有效去除。图10(b)中的红色线条代表原始图像中含有高光像素行的灰度变化,蓝色曲线为采用所提方法处理后图像中含有高光像素行的灰度变化。对比图10(a)和图10(b)可以看出,采用所提方法处理后的图像较原始图像的灰度明显下降,高光抑制效果显著。

图 10. 处理前后的对比。(a)像素条形统计图;(b)灰度变化曲线图

Fig. 10. Comparison before and after processing. (a) Pixel bar graph; (b) grayscale change graph

下载图片查看所有图片

将正弦条纹投影到10 cm×10 cm的金属工件表面,采集条纹图并解调绝对相位,比较处理前后的重建结果,如图11所示,其中图11(a)为原始图像的重建结果,图11(b)为采用所提方法处理后图像的重建结果。可见:高反区域造成的相位错误现象得到了改善。

图 11. 金属工件的重建对比。(a)原始图像的重建结果;(b)所提方法处理后的图像的重建结果

Fig. 11. Reconstructed images of metal workpiece. (a) Reconstruction result of the original image; (b) reconstruction result of the image processed with the proposed method

下载图片查看所有图片

对表面曲率变化复杂、半径为5 cm的陶瓷杯盖进行测量,结果如图12所示,结果表明,采用所提方法对相机采集的图像进行处理后,再采用质量引导的方法进行解调相位和重构,基本消除了因高光像素造成的数据错误。图12(a)为原始图像的三维重建结果,图12(b)为采用所提方法对原始图像进行处理后的重建图,高亮像素引起的数据错误得以消除,实际测量误差约为0.23 mm。

图 12. 杯盖重建结果。(a)原始图像的重建结果;(b)经所提方法处理后的重建结果

Fig. 12. Reconstructed images of cup lid. (a) Reconstruction results of the original image; (b) reconstruction results after processing using the proposed method

下载图片查看所有图片

综合图11和图12可知:采用所提改进方法对金属工件进行测量,金属工件表面的高光基本被消除,重建结果中对高光引起的错误也进行了修正,但在投影仪下物体本身造成的阴影并未得到处理,这将是下一步工作的重点;采用所提方法对表面曲率复杂的陶瓷杯盖进行测量,陶瓷杯盖表面高光引起的数据误差得以解决,测量误差为0.23 mm。此外,相机自身像素限制或系统标定精度可能是造成误差的原因。对于不符合双色模型的图像,所提方法具有一定的局限性。

5 结论

在高反物体的结构光投影测量过程中,高光现象是无法避免的。针对这一问题,本课题组提出了一种用于大面积高反物体的三维重建方法,解决了采集条纹图像中亮度分布不均匀的现象。实验结果表明,所提方法能有效解决高反材质物体形貌测量过程中的高光问题,进而获得了准确的三维信息。所提方法不需要昂贵的设备支持,不需要采集不同曝光时间或不同最大灰度值的投影条纹图,易于实现,操作简便,实测误差约为0.23 mm,可消除93%~97%的高光像素。

参考文献

[1] Zhang K, Fu L H, Wang Z, et al. Research on surface defect detection of ceramic ball based on fringe reflection[J]. Optical Engineering, 2017, 56(10): 104104.

Zhang K, Fu L H, Wang Z, et al. Research on surface defect detection of ceramic ball based on fringe reflection[J]. Optical Engineering, 2017, 56(10): 104104.

[2] Lin H, Gao J, Mei Q, et al. Adaptive digital fringe projection technique for high dynamic range three-dimensional shape measurement[J]. Optics Express, 2016, 24(7): 7703-7718.

Lin H, Gao J, Mei Q, et al. Adaptive digital fringe projection technique for high dynamic range three-dimensional shape measurement[J]. Optics Express, 2016, 24(7): 7703-7718.

[3] Qi Z S, Wang Z. Highlight removal based on the regional-projection fringe projection method[J]. Optical Engineering, 2018, 57(4): 041404.

Qi Z S, Wang Z. Highlight removal based on the regional-projection fringe projection method[J]. Optical Engineering, 2018, 57(4): 041404.

[4] Song Z, Jiang H L, Lin H B, et al. A high dynamic range structured light means for the 3D measurement of specular surface[J]. Optics and Lasers in Engineering, 2017, 95: 8-16.

Song Z, Jiang H L, Lin H B, et al. A high dynamic range structured light means for the 3D measurement of specular surface[J]. Optics and Lasers in Engineering, 2017, 95: 8-16.

[5] Liu G H, Liu X Y, Feng Q Y. 3D shape measurement of objects with high dynamic range of surface reflectivity[J]. Applied Optics, 2011, 50(23): 4557-4565.

Liu G H, Liu X Y, Feng Q Y. 3D shape measurement of objects with high dynamic range of surface reflectivity[J]. Applied Optics, 2011, 50(23): 4557-4565.

[6] Zhao H J, Xu Y, Jiang H Z, et al. 3D shape measurement in the presence of strong interreflections by epipolar imaging and regional fringe projection[J]. Optics Express, 2018, 26(6): 7117-7131.

Zhao H J, Xu Y, Jiang H Z, et al. 3D shape measurement in the presence of strong interreflections by epipolar imaging and regional fringe projection[J]. Optics Express, 2018, 26(6): 7117-7131.

[7] TanP, LinS, QuanL, et al. Highlight removal by illumination-constrained inpainting[C]. IEEE International Conference on Computer Vision, 2003: 164- 169.

TanP, LinS, QuanL, et al. Highlight removal by illumination-constrained inpainting[C]. IEEE International Conference on Computer Vision, 2003: 164- 169.

[8] Sato Y, Ikeuchi K. Temporal-color space analysis of reflection[J]. Journal of the Optical Society of America A, 1994, 11(11): 2990-3002.

Sato Y, Ikeuchi K. Temporal-color space analysis of reflection[J]. Journal of the Optical Society of America A, 1994, 11(11): 2990-3002.

[9] Yoon K J, Kweon I S. Voting-based separation of diffuse and specular pixels[J]. Electronics Letters, 2004, 40(20): 1260-1261.

Yoon K J, Kweon I S. Voting-based separation of diffuse and specular pixels[J]. Electronics Letters, 2004, 40(20): 1260-1261.

[10] Tan RT, IkeuchiK. Separating reflection components of textured surfaces using a single image[C]. IEEE International Conference on Computer Vision, 2003: 870- 877.

Tan RT, IkeuchiK. Separating reflection components of textured surfaces using a single image[C]. IEEE International Conference on Computer Vision, 2003: 870- 877.

[11] 刘元坤, 苏显渝, 吴庆阳. 基于条纹反射的类镜面三维面测量方法[J]. 光学学报, 2006, 26(11): 1636-1640.

刘元坤, 苏显渝, 吴庆阳. 基于条纹反射的类镜面三维面测量方法[J]. 光学学报, 2006, 26(11): 1636-1640.

Liu Y K, Su X Y, Wu Q Y. Three dimensional shape measurement for specular surface based on fringe reflection[J]. Acta Optica Sinica, 2006, 26(11): 1636-1640.

[12] 姜宏志, 赵慧洁, 李旭东, 等. 用于强反射表面形貌测量的投影栅相位法[J]. 光学精密工程, 2010, 18(9): 2002-2008.

姜宏志, 赵慧洁, 李旭东, 等. 用于强反射表面形貌测量的投影栅相位法[J]. 光学精密工程, 2010, 18(9): 2002-2008.

Jiang H Z, Zhao H J, Li X D, et al. Projected fringe profilometry for profile measurement of high reflective surface[J]. Optics and Precision Engineering, 2010, 18(9): 2002-2008.

[13] Shen H L, Zhang H G, Shao S J, et al. Chromaticity-based separation of reflection components in a single image[J]. Pattern Recognition, 2008, 41(8): 2461-2469.

Shen H L, Zhang H G, Shao S J, et al. Chromaticity-based separation of reflection components in a single image[J]. Pattern Recognition, 2008, 41(8): 2461-2469.

[14] 肖朝, 苏显渝, 陈锋, 等. 基于条纹调制度的多投影显示融合方法[J]. 光学学报, 2016, 36(4): 0412007.

肖朝, 苏显渝, 陈锋, 等. 基于条纹调制度的多投影显示融合方法[J]. 光学学报, 2016, 36(4): 0412007.

Xiao C, Su X Y, Chen F, et al. A fusion method for multi-projector display based on fringe modulation[J]. Acta Optica Sinica, 2016, 36(4): 0412007.

[15] 刘飞, 何春桥, 申爱民, 等. 结构光饱和区域分区投射优化补偿方法[J]. 光学学报, 2018, 38(6): 0612001.

刘飞, 何春桥, 申爱民, 等. 结构光饱和区域分区投射优化补偿方法[J]. 光学学报, 2018, 38(6): 0612001.

Liu F, He C Q, Shen A M, et al. Optimized compensation method of divisional projection for saturated region of structured light[J]. Acta Optica Sinica, 2018, 38(6): 0612001.

[16] Chen C, Gao N, Wang X J, et al. Adaptive projection intensity adjustment for avoiding saturation in three-dimensional shape measurement[J]. Optics Communications, 2018, 410: 694-702.

Chen C, Gao N, Wang X J, et al. Adaptive projection intensity adjustment for avoiding saturation in three-dimensional shape measurement[J]. Optics Communications, 2018, 410: 694-702.

[17] Sun X M, Liu Y, Yu X Y, et al. Three-dimensional measurement for specular reflection surface based on reflection component separation and priority region filling theory[J]. Sensors, 2017, 17(1): 215.

Sun X M, Liu Y, Yu X Y, et al. Three-dimensional measurement for specular reflection surface based on reflection component separation and priority region filling theory[J]. Sensors, 2017, 17(1): 215.

[18] Zhao W J, Su X Y, Chen W J. Discussion on accurate phase-height mapping in fringe projection profilometry[J]. Optical Engineering, 2017, 56(10): 104109.

Zhao W J, Su X Y, Chen W J. Discussion on accurate phase-height mapping in fringe projection profilometry[J]. Optical Engineering, 2017, 56(10): 104109.

[19] Wang P, Wang J M, Xu J, et al. Calibration method for a large-scale structured light measurement system[J]. Applied Optics, 2017, 56(14): 3995-4002.

Wang P, Wang J M, Xu J, et al. Calibration method for a large-scale structured light measurement system[J]. Applied Optics, 2017, 56(14): 3995-4002.

[20] Cai Z W, Liu X L, Peng X, et al. Ray calibration and phase mapping for structured-light-field 3D reconstruction[J]. Optics Express, 2018, 26(6): 7598-7613.

Cai Z W, Liu X L, Peng X, et al. Ray calibration and phase mapping for structured-light-field 3D reconstruction[J]. Optics Express, 2018, 26(6): 7598-7613.

10 cm×10 cm的工业金属工件如图8所示,投影正弦条纹采集到的图像如图7(a)所示。图8中的高反区域为图9中的红框区域。图9(a)是采用文献[ 10]的方法进行填充后的结果,而图9(b)是采用所提方法填充后的图像。原始图像中的高反区域面积约为1.5 cm×10 cm,采用所提方法处理后,高反面积基本完全消除,处理了93%以上的高反像素。这是因为本研究中确定的阈值更符合实际情况,并且引入了权函数进行判断,有效降低了填充误差。

5 结论

杨鹏斌, 邓林嘉, 陈元, 伏燕军, 徐天义, 王霖. 基于结构光的高反物体三维形貌测量方法[J]. 中国激光, 2019, 46(2): 0204004. Pengbin Yang, Linjia Deng, Yuan Chen, Yanjun Fu, Tianyi Xu, Lin Wang. Three-Dimensional Shape Measurement of Highly Reflective Objects Based on Structured Light[J]. Chinese Journal of Lasers, 2019, 46(2): 0204004.

基于结构光的高反物体三维形貌测量方法下载： 2230次

1 引言

2 结构光投影测量

图 1. 条纹投影系统原理图

Fig. 1. Definition of the aperture for beam transmission

3 高光消除

3.1 双色反射模型

3.2 高光区域的选择

3.3 改进的强反射分量去除方法

图 2. 去除高光的流程图

Fig. 2. Flow chart of removing highlights

3.4 基于种子填充的改进算法

图 3. 填充效果图。(a)待处理像素;(b) 4-联通填充效果图;(c) 8-联通填充效果图

Fig. 3. Fill effect images. (a) Pending pixel; (b) 4-unicom filling effects image; (c) 8-unicom filling effects image

4 实验结果与分析

图 4. 实验系统结构图

Fig. 4. Experimental system structure

图 5. MSF图像以及像素粗分类结果。(a)MSF图像;(b)像素粗分类后的反射分量图;(c)像素粗分类后的漫反射分量图

Fig. 5. MSF image and images of pixel rough classification. (a) MSF image; (b) reflection component map after pixel rough classification;(c) diffuse reflection component map after pixel rough classification

图 6. 色度图。(a)原始色度图;(b)反射分量色度图;(c)漫反射分量色度图

Fig. 6. Chromaticity images. (a) Original chromaticity image; (b) reflection component chromaticity image; (c) diffuse reflection component chromaticity image

图 7. 处理前后对比图。(a)原始图像;(b)处理后漫反射分量图像;(c)处理后镜面反射分量图像

Fig. 7. Images before and after processing. (a) Original image; (b) diffuse reflection component image after processing; (c) specular component image after processing

图 8. 工业金属工件

Fig. 8. Industrial metal workpiece

图 9. 采用不同方法处理后的对比图。(a)采用文献[ 10]的方法;(b)采用所提方法

Fig. 9. Comparison images processed with different methods. (a) Image obtained with the method in ref. [10]; (b) image processed with the proposed method

图 10. 处理前后的对比。(a)像素条形统计图;(b)灰度变化曲线图

Fig. 10. Comparison before and after processing. (a) Pixel bar graph; (b) grayscale change graph

图 11. 金属工件的重建对比。(a)原始图像的重建结果;(b)所提方法处理后的图像的重建结果

Fig. 11. Reconstructed images of metal workpiece. (a) Reconstruction result of the original image; (b) reconstruction result of the image processed with the proposed method

图 12. 杯盖重建结果。(a)原始图像的重建结果;(b)经所提方法处理后的重建结果

Fig. 12. Reconstructed images of cup lid. (a) Reconstruction results of the original image; (b) reconstruction results after processing using the proposed method

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于结构光的高反物体三维形貌测量方法 下载： 2230次

1 引言

2 结构光投影测量

图 1. 条纹投影系统原理图

Fig. 1. Definition of the aperture for beam transmission

3 高光消除

3.1 双色反射模型

3.2 高光区域的选择

3.3 改进的强反射分量去除方法

图 2. 去除高光的流程图

Fig. 2. Flow chart of removing highlights

3.4 基于种子填充的改进算法

图 3. 填充效果图。(a)待处理像素;(b) 4-联通填充效果图;(c) 8-联通填充效果图

Fig. 3. Fill effect images. (a) Pending pixel; (b) 4-unicom filling effects image; (c) 8-unicom filling effects image

4 实验结果与分析

图 4. 实验系统结构图

Fig. 4. Experimental system structure

图 5. MSF图像以及像素粗分类结果。(a)MSF图像;(b)像素粗分类后的反射分量图;(c)像素粗分类后的漫反射分量图

Fig. 5. MSF image and images of pixel rough classification. (a) MSF image; (b) reflection component map after pixel rough classification;(c) diffuse reflection component map after pixel rough classification

图 6. 色度图。(a)原始色度图;(b)反射分量色度图;(c)漫反射分量色度图

Fig. 6. Chromaticity images. (a) Original chromaticity image; (b) reflection component chromaticity image; (c) diffuse reflection component chromaticity image

图 7. 处理前后对比图。(a)原始图像;(b)处理后漫反射分量图像;(c)处理后镜面反射分量图像

Fig. 7. Images before and after processing. (a) Original image; (b) diffuse reflection component image after processing; (c) specular component image after processing

图 8. 工业金属工件

Fig. 8. Industrial metal workpiece

图 9. 采用不同方法处理后的对比图。(a)采用文献[ 10]的方法;(b)采用所提方法

Fig. 9. Comparison images processed with different methods. (a) Image obtained with the method in ref. [10]; (b) image processed with the proposed method

图 10. 处理前后的对比。(a)像素条形统计图;(b)灰度变化曲线图

Fig. 10. Comparison before and after processing. (a) Pixel bar graph; (b) grayscale change graph

图 11. 金属工件的重建对比。(a)原始图像的重建结果;(b)所提方法处理后的图像的重建结果

Fig. 11. Reconstructed images of metal workpiece. (a) Reconstruction result of the original image; (b) reconstruction result of the image processed with the proposed method

图 12. 杯盖重建结果。(a)原始图像的重建结果;(b)经所提方法处理后的重建结果

Fig. 12. Reconstructed images of cup lid. (a) Reconstruction results of the original image; (b) reconstruction results after processing using the proposed method

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于结构光的高反物体三维形貌测量方法下载： 2230次