基于线结构光的水下双目测量方法

解则晓; 李俊朋; 迟书凯

doi:doi:10.3788/CJL202047.0504004

中国激光, 2020, 47 (5): 0504004, 网络出版: 2020-05-12

基于线结构光的水下双目测量方法下载： 1532次

Underwater Binocular Measurement Method Based on Line-Structured Light

论文大纲

解则晓李俊朋 ^*迟书凯

作者单位

中国海洋大学工程学院, 山东青岛 266100

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对水下环境中因光线折射、水体浑浊等产生的物体特征点难以提取的问题,设计了一种利用线结构光阵列提供视觉特征的水下双目测量系统,通过提取光条中心获得大量特征点。推导建立水下双目光路折射模型,并提出一种改进的外极线匹配方法,用于获得特征点三维坐标,实现了水下物体的测量和三维形貌还原。实验结果表明,所提方法对水下物体的测量精度与陆上相当,测量误差在0.3 mm以内,满足测量精度要求。系统测量过程快速准确,适用于水下实时定位测量。

Abstract

It is difficult to extract feature points in the underwater environment owing to light refraction and water turbidity. To solve this problem, an underwater binocular measurement system that detects visual features using a line-structured light array is designed in this study. A large number of feature points are obtained by extracting the center of light strip. The refraction model of the underwater binocular's optical path is established, and an improved epipolar matching method is proposed to obtain the three-dimensional coordinates of feature points to realize the measurement and the restoration of three-dimensional morphology of underwater objects. The experimental results show that the measurement accuracy of the proposed method for underwater objects is comparable to that for land, and the measurement error is within 0.3 mm, which meets the measurement accuracy requirements. The measurement process of the proposed system is fast and accurate, and it is suitable for underwater real-time positioning measurement.

1 引言

近年来,海洋资源越来越受到重视,海底勘探和开发活动逐年增加。然而,水下环境情况复杂、高压、缺氧等因素使得水下人工勘探和科研活动受到很大限制,增加了危险性和未知性。随着计算机视觉的日趋完善,越来越多的视觉传感器被应用到海洋探测和开发中,在水下目标检测、焊接、三维重建等方面的应用较为广泛^[1-4]。

在水下应用双目视觉时,由海水、密封玻璃等导致的折射使得传统的陆上成像模型不再适用^[5],海水浑浊、光线散射及物体本身等因素使得特征点的获取和匹配难度较大。针对这些问题:盛明伟等^[6]采用最大类间方差(OTSU)阈值算法,并对尺度不变特征转换(SIFT)算法进行改进,实现了特征匹配;马瑞浩等^[7]提出一种基于图像分割的稠密立体匹配算法,利用简单线性迭代聚类(SLIC)算法分割图像,并基于视差图和超像素更新进行立体匹配;张强等^[8]针对水下折射影响外极线约束这一问题提出一种适用于水下的极线约束模型,并结合SIFT算法进行立体匹配。但上述几种通过图像算法提取特征的方法对被测物体要求较高,对于特征较少的物体提取效果较差。Kawahara等^[9]利用一种像素级的可变焦距相机模型模拟水下折射过程,将视图中每一个像素点的折射光路通过该模型计算出来,从而获取像素点的三维坐标,但针对每个像素点的计算过程较为繁琐,处理时间较长,算法实时性较差。Kang等^[10]设计了一种使用两台摄像机的水下成像装置,并在此基础上提出了折射率椭圆和折射相机模型中场景点的折射深度两个新概念,该方法可以同时进行水下摄像机标定和三维重建,但对于匹配方面适用性较低。其他文献^[11-13]针对水下目标分割及三维重建进行了许多研究和探讨,但目前没有关于解决特征点提取等问题的很好的方案。

本文设计了一种搭载线结构光阵列的水下双目测量系统,通过结构光在物体表面产生主动特征信息。针对光线折射问题,推导建立水下双目光路折射模型,并通过分析双目成像特性提出了一种改进的外极线匹配方法,实现了对水下物体的测量和三维形貌描述。为验证本文方法的有效性,进行了多组测量对比实验,证明了应用所提双目系统和匹配方法测量的效果较好,测量精度与陆上相当。

2 水下双目测量系统

2.1 系统结构与工作原理

本文设计的水下双目测量系统主要由CMOS相机、线激光器、照明LED及交换机组成,内部结构俯视图如图1(a)所示。相机选用德国Basler公司生产的Aca1300-60 gm灰度摄像机,激光器投射线激光,波长650 nm,照明LED选用红色发光二极管,所有硬件均固定在外壳底面,两相机光轴夹角为35°,光心距为500 mm,激光器并排固定,并保证所有光平面平行。设备密封外形如图1(b)所示,最近测量距离为550 mm,最远测量距离为1000 mm,可用于水下中小型物体的测量及三维形貌还原。

图 1. 水下双目测量系统。(a)内部结构俯视图;(b)设备密封外形图

Fig. 1. Underwater binocular measurement system. (a) Top view of internal structure; (b) seal outline drawing of equipment

下载图片查看所有图片

密封于金属舱内的双目相机满足陆上双目立体视觉模型,如图2所示。P为三维空间中一被测点;o₁-x₁y₁z₁为左摄像机坐标系,O₁-X₁Y₁为左摄像机像面坐标系,f₁为左摄像机焦距;o₂-x₂y₂z₂为右摄像机坐标系,O₂-X₂Y₂为右摄像机像面坐标系,f₂为右摄像机焦距。

图 2. 双目立体视觉模型

Fig. 2. Binocular stereo vision model

下载图片查看所有图片

系统工作时,被测物体位于相机公共视场内,将线激光光条阵列投射在被测物体表面,通过相机拍摄光条图像,依次提取图中光条中心点,并将其作为物体表面特征点。通过相机内参数标定,得到左右摄像机坐标系到像面坐标系的转换关系,通过外参数标定,得到右摄像机坐标系o₂-x₂y₂z₂到左摄像机坐标系o₁-x₁y₁z₁的转换关系。将左摄像机坐标系作为世界坐标系,则被测点P在o₁-x₁y₁z₁坐标系下的坐标(x_P,y_P,z_P)即为该点的世界坐标,计算公式为

\begin{matrix} \{\begin{matrix} x_{P} = z_{P} \frac{X_{1}}{f_{1}} \\ y_{P} = z_{P} \frac{Y_{1}}{f_{1}} \\ z_{P} = \\ \frac{f_{1} (f_{2} t_{x} - X_{2} t_{z})}{X_{2} (r_{7} X_{1} + r_{8} Y_{1} + f_{1} r_{9}) - f_{2} (r_{1} X_{1} + r_{2} Y_{1} + f_{1} r_{3})} \end{matrix}, (1) \end{matrix}

式中:R= $\begin{matrix} [\begin{matrix} r_{1} & r_{2} & r_{3} \\ r_{4} & r_{5} & r_{6} \\ r_{7} & r_{8} & r_{9} \end{matrix}] \end{matrix}$ 为坐标系o₁-x₁y₁z₁与o₂-x₂y₂z₂间的旋转矩阵;T= $\begin{matrix} [\begin{matrix} t_{1} \\ t_{2} \\ t_{3} \end{matrix}] \end{matrix}$ 为原点o₁与o₂间的平移变换矢量。

水下测量系统整体工作流程如图3所示。首先在陆上环境标定摄像机,得到摄像机内外参数;然后将系统放置于水下环境,拍摄被测物体,再提取被测物体表面激光光条中心点,并将其作为物体特征点;之后按照本文提出的匹配方法进行水下双目匹配,并对匹配点对进行折射补偿,将补偿后得到的三维点作为物体表面点云数据,完成三维重建。

图 3. 测量系统工作流程图

Fig. 3. Flow chart of measurement system

下载图片查看所有图片

2.2 多光条提取方式

对水下物体进行测量时,水体浑浊和光线较暗导致应用一般图像算法难以获取物体表面特征点,同时一些金属物体本身缺乏特征,这使得SIFT等图像处理算法的应用范围受限。针对以上问题的一种解决方案为采用水下结构光进行扫描测量^[14],但该方法需要消耗一定的扫描时间,且扫描过程中需保持扫描装置静止不动,实时性较差。本文采用一种线结构光阵列代替扫描结构,工作时将光条投射到被测物体表面,按照一定步骤逐条提取结构光光条,实现快速测量。该方法的重点是确定两摄像机得到的图像中各光条的对应关系,以便完成双目匹配。

线结构光阵列如图4所示,整体由一个点激光和25条线激光构成,点激光用来确定图形中心,线激光为物体提供足够的特征点。测量时,首先寻找中心光点,然后沿行方向(光条垂直方向)向两侧检索,确定各光条顺序及标号,用灰度重心法依次提取各光条中心,完成匹配。具体步骤如下:

图 4. 线结构光阵列

Fig. 4. Line-structured light array

下载图片查看所有图片

步骤1:左右像机拍摄图像,并分别沿行方向寻找灰度值大于设定阈值(阈值的选取根据图像中光条和背景的亮度设定)的连续区域,计算区域宽度d_m,定义第一个存在d_m+₁≥3d_m的行为基准行,并记录三倍宽度处的中点(u₀,v₀),若不存在,则舍弃该图像,并重复步骤1。

步骤2:以(u₀,v₀)为起点,沿基准行方向向左寻找灰度值大于设定阈值的区域,针对每一个区域,参照flood fill算法^[15]实现中的八邻域填充法,选取一定大小的邻域,向上和向下寻找满足灰度值要求的邻域数据并记录;每次记录完毕后将邻域中心点设定为新的起点,以适应不规则光条的提取,若邻域内没有满足要求的点,则跳过该区域,继续向上或向下寻找,以处理光条缺失现象;对每一组光条数据依次编号为i,i+1,…并存储。

步骤3:以(u₀,v₀)为起点,沿基准行方向向右寻找灰度值大于设定阈值的区域,针对每一个区域,采用步骤2中方法提取光条数据,依次编号为j,j+1,…并存储。

步骤4:取左右图像编号相同的光条数据,采用灰度重心法提取光条中心,作为双目匹配的原始数据,若不存在两光条编号相同,则转到步骤1。

步骤5:对原始数据进行匹配并计算三维坐标,即可获得物体表面的三维点云。

3 水下三维测量

3.1 水下双目折射模型

针对光线折射问题,建立水下非平行不共折射面双目系统测量模型,如图5所示。

以左摄像机为例,对理想情况下折射光路进行分析计算。p为水下一被测点,其经过光线折射后在像面的成像点为p_{l_1},折射光路与玻璃上表面交点为p_l_{_}₂,与玻璃下表面交点为p_l_{_}₃,o_cl-x_cly_clz_cl为左摄像机坐标系,O_l-X_lY_l为左像面坐标系,d_l为左像机光心o_cl到玻璃上表面的距离,n_l为左玻璃平面的法向量,θ_l_{_}₁、θ_l_{_}₂和θ_l_{_}₃分别为光线入射角、一次折射角和二次折射角,X_l_{_}₁、X_l_{_}₂和X_l_{_}₃分别为o_clp_l_{_}₂段、p_l_{_}₂p_l_{_}₃段和p_l_{_}₃p段的方向向量,d_g为玻璃平面的厚度,空气、玻璃和水的折射率分别用n_a、n_g和n_w表示。本文双目系统封装外壳为自行设计,因此参数d_l、d_r和d_g已知,分别为25 mm、25 mm和3 mm。

图 5. 水下双目系统测量模型

Fig. 5. Measurement model of underwater binocular system

下载图片查看所有图片

设p_l_{_}₁经畸变补偿后的像面坐标为(X_l_{_}₁,Y_l_{_}₁),则入射光线 $\begin{matrix} \vec{o_{cl} p_{l_1}} \end{matrix}$ 的方向向量X_l_{_}₁为

\begin{matrix} X_{l_1} = {(\frac{X_{l_1}}{f_{l_x}}, \frac{Y_{l_1}}{f_{l_y}}, 1)}^{T}, (2) \end{matrix}

式中:f_l_{_x}、f_l_{_y}表示左像面X_l轴方向和Y_l轴方向的焦距,单位为mm。

以左摄像机坐标系为基准,则点p_l_{_}₂坐标可表示为

\begin{matrix} (x_{pl_2}, y_{pl_2}, z_{pl_2}) = (x_{ocl}, y_{ocl}, z_{ocl}) + λ_{l_1} X_{l_1}, (3) \end{matrix}

λ_{l_1} = \frac{d_{l}}{n_{l} X_{l_1}}, (4)

式中:(x_o_cl,y_o_cl,z_o_cl)=(0,0,0)。由于系统在设计时保证了像机像面和玻璃平面平行,因此n_l=(0,0,1)。

由折射定律可得入射角和一次折射角为

\begin{matrix} θ_{l_1} = \arccos (\frac{n_{l} X_{l_1}}{|n_{l}| |X_{l_1}|}), (5) \end{matrix}

θ_{l_2} = \arcsin (\frac{n_{a} \sin θ_{l_1}}{n_{g}}) 。 (6)

光线经过玻璃上表面时发生第一次折射,折射前后两光线共面,且向量n_l在该平面内,用n_rotl表示该平面法向量,则有

\begin{matrix} n_{rotl} = \frac{n_{l} \times X_{l_1}}{|n_{l}| |X_{l_1}| \sin θ_{l_1}} 。 (7) \end{matrix}

第一次折射过程可视为向量X_l_{_}₁经旋转后变为X_l_{_}₂,旋转轴为n_rotl,旋转角度θ₁=θ_l_{_}₁-θ_l_{_}₂,该旋转过程可用四元数方法描述。设四元数q_l_{_}₁= $\begin{matrix} (\cos \frac{θ_{1}}{2}, \sin \frac{θ_{1}}{2} \cdot n_{rotl}) \end{matrix}$ ,定义纯四元数q'_{l_1}=(0,X_l_{_}₁),则根据四元数相关定义,有

\begin{matrix} (0, X_{l_2}) = q_{l_1} \cdot q'_{l_1} \cdot (q'_{l_1})^{- 1} 。 (8) \end{matrix}

由(8)式可计算得到旋转后光线的方向向量X_l_{_}₂,则点p_{l_3}坐标可表示为

\begin{matrix} (x_{pl_3}, y_{pl_3}, z_{pl_3}) = (x_{pl_2}, y_{pl_2}, z_{pl_2}) + λ_{l_2} X_{l_2}, (9) \end{matrix}

λ_{l_2} = \frac{d_{g}}{n_{l} X_{l_2}} 。 (10)

由折射定律可得折射角θ_l_{_}₃为

\begin{matrix} θ_{l_3} = \arcsin (\frac{\sin θ_{l_2} \cdot n_{g}}{n_{w}}) 。 (11) \end{matrix}

光线经过玻璃下表面时发生第二次折射,折射前后两光线共面,且该平面法向量仍为n_rotl。第二次折射过程可视为向量X_l_{_}₂经旋转后变为X_l_{_}₃,旋转轴为n_rotl,旋转角度θ₂=θ_l_{_}₃-θ_l_{_}₂。设四元数q_l_{_}₂= $\begin{matrix} (\cos \frac{θ_{2}}{2}, \sin \frac{θ_{2}}{2} \cdot n_{rotl}) \end{matrix}$ ,定义纯四元数q'_l_{_}₂=(0,X_l_{_}₂),则有

\begin{matrix} (0, X_{l_3}) = q_{l_2} \cdot q'_{l_2} \cdot (q'_{l_2})^{- 1} 。 (12) \end{matrix}

由(12)式可计算得到旋转后光线的方向向量X_l_{_}₃,则被测点p坐标可表示为

\begin{matrix} (x_{p}, y_{p}, z_{p}) = (x_{pl_3}, y_{pl_3}, z_{pl_3}) + λ_{l_3} X_{l_3} 。 (13) \end{matrix}

同理,对右摄像机折射光路进行分析,由(2)~(12)式可得被测点p坐标为

\begin{matrix} (x_{p}, y_{p}, z_{p}) = (x_{pr_3}, y_{pr_3}, z_{pr_3}) + λ_{r_3} X_{r_3} 。 (14) \end{matrix}

将(14)式中相关坐标通过左右摄像机坐标系间的R、T矩阵转换到左摄像机坐标系下,联立(13)式和(14)式可求解参数λ_l_{_}₃、λ_r_{_}₃,并进一步求解p点坐标。将左摄像机坐标系作为世界坐标系,则该坐标即为p点的三维空间坐标。在实际测量过程中,若图片噪声或系统误差等因素导致光线X_l_{_}₃与X_r_{_}₃异面^[16],则可求解两异面光线公垂线的中点,并将其近似为待求的空间点p。

3.2 双目匹配

一般情况下,水下一被测点p对应的两条折射光线X_l_{_}₃、X_r_{_}₃异面。令左摄像机下折射光路构成的平面为Π_l,右像机下折射光路构成的平面为Π_r,两平面交线为L,则可得以下性质:

性质1:被测点p一定在直线L上;

性质2:理想情况下,左右两折射光线均交直线L于点p;

性质3:一般情况下,光线X_{l_3}、X_{r_3}与直线L存在交点p_l、p_r,如图6所示。

图 6. 水下双目系统成像

Fig. 6. Underwater binocular system imaging

下载图片查看所有图片

由上述分析可知,水下环境中一个被测点呈现两个“虚像”,虚像由折射、计算误差等因素导致,且互不重合。两个虚像均由被测点产生,因此互相匹配的两像点间距离应小于不匹配的像点间距离,同理可得,互相匹配像点对应的折射光线间距离应小于不匹配时的光线间距离,可得约束条件:

\begin{matrix} \{\begin{matrix} |p_{l} p_{r}| < d_{unmatc h} \\ d (X_{l_3}, X_{r_3}) < d_{unmatc h} \end{matrix} 。 (15) \end{matrix}

本文待匹配特征点为激光光条中心点,SIFT等传统图像算法无法获得匹配点对,而光条作为一维特征,搜索范围较小,采用外极线几何约束可准确快速地筛选匹配点。由于水下环境中存在折射,陆上外极线匹配方法无法直接使用,张强等^[8]针对水下折射问题提出了一种适用于水下的极线约束模型,该模型指出水下环境中,外极线由于折射的存在而发生弯曲变形,成为曲线约束,该曲线可以通过计算获得,且实验结果显示曲线的弯曲程度较小。基于该情况,本文提出一种改进的外极线匹配方法,通过极线几何约束获得初始匹配范围,根据(15)式进行特征点筛选,剔除误匹配点,完成匹配。

外极线匹配原理如图7所示。图中,F_a、F_b表示左右像平面,O_ca、O_cb 为左右光心,E_a、E_b为左右极点,P为空间被测点,由点P、O_ca、O_cb 可确定极平面,极平面与两像面的交线L_a、L_b称为极线。若已知P点在左像面内的像点P_a,则在右像面内其对应点P_b必然位于极线L_b上,反之亦然,此约束称为极线几何约束。

图 7. 极线几何约束原理图

Fig. 7. Schematic of polar geometric constraints

下载图片查看所有图片

通过极线几何约束,对左像面每一个像点可唯一确定一条右极线,该点在右像面的匹配点一定位于右极线上。令极线方向与光条成像方向呈一定角度,则右像面光条成像与右极线的交点即为左像点对应的匹配点。基于此性质,对外极线匹配法进行改进,使其适用于水下环境,具体匹配步骤如下:

步骤1:提取光条图像中心点作为待匹配点,在左图像任取一点P_a,计算其对应的右极线L_b,极线方程为

\begin{matrix} s_{b} (x - E_{bx}) - y + E_{by} = 0, (16) \end{matrix}

式中:s_b为右极线斜率;E_b_x、E_b_y为右极点坐标值。

步骤2:为便于求取任意形状光条与极线的交点,计算右像面光条中心点到极线L_b的距离,设定阈值ε,取距离最近且小于ε的两点x_r1、x_r2拟合直线l,认为l与L_b的交点P_b0为左像点P_a对应的初始匹配点,如图8所示。

图 8. 外极线与光条交点示意图

Fig. 8. Intersection of external polar and light bar

下载图片查看所有图片

步骤3:以P_b0为圆心,取半径30 pixel范围内所有光条中心点P_b_i,通过光路折射补偿,按照(15)式依次筛选P_b_i,若满足条件,则P_b_i为P_a对应的匹配点P_b。

步骤4:对于筛选出的匹配点对,按照光路折射补偿模型计算其对应的折射光线X_l_{_}₃与X_r_{_}₃,并计算两光线交点,该点坐标即为被测点p的空间三维坐标。对左像面光条中心点依次进行上述计算,即可完成水下物体双目匹配及三维重建。

4 实验结果与分析

4.1 特征提取对比实验

为验证本文特征点产生与提取方法的适用性,将所提方法与已有图像处理方法进行对比。选取标准圆柱和白色金属钣金件作为被测物体,如图9(a)和图9(b)所示,分别将其置于水下环境中进行测量。首先将标准圆柱竖直放置于水下环境,通过投射

结构光阵列获取表面特征点,按照本文方法进行三维重建;然后移除结构光阵列图案,通过SIFT算法提取特征点并完成特征点匹配,按照(1)式计算三维点云,完成三维重建。两次重建的三维点云分别如图9(c)和图9(d)所示。再将金属钣金件放置于水下环境中,重复上述两次测量过程,测量点云分别如图9(e)和图9(f)所示。

由图9(c)和图9(d)可以看出,通过SIFT算法得到的点云基本分布在被测物体轮廓附近,中间特征大量缺失,而通过本文方法获得的点云均匀分布在被测物体表面,能够描述物体具体形貌;图9(e)和图9(f)能更好地体现该差别,通过SIFT算法获得的点云只是描述了钣金件的大致轮廓,对于弯折处的特征描述得不准确,而通过本文方法获得的点云不仅能够描述被测物体形貌,对于弯折处及平面弯曲程度都有较好的体现。综上,本文提出的物体特征点获取方法对被测物体要求更低,能够用于标准件及金属件等本身缺乏特征的物体的测量,相较于图像算法适用范围更广。

图 9. 特征提取对比结果。(a)圆柱;(b)钣金件;(c)本文方法的圆柱点云;(d)图像方法的圆柱点云;(e)本文方法的钣金件点云;(f)图像方法的钣金件点云

Fig. 9. Comparison results of feature extraction. (a) Cylinder; (b) sheet metal parts; (c) cylindrical point cloud of proposed method; (d) cylindrical point cloud of image method; (e) point cloud of sheet metal parts of proposed method; (f) point cloud of sheet metal parts of image method

下载图片查看所有图片

4.2 光条提取实验

为验证本文多光条提取方法的准确性和有效性,进行多种情况下的光条提取实验。首先通过photoshop软件随机定义一组光条图案,如图10(a)所示,运用本文方法进行光条提取,其中某一光条提取结果如图10(b)所示;然后选取白色金属钣金件作为被测物体,投射激光光条并通过摄像机拍摄获取图像,选取左像机图像,通过photoshop软件人为添加一定遮挡,形成光条缺失现象,如图10(c)所示,运用本文方法进行光条提取,其中某一光条提取结果如图10(d)所示;最后选取不规则石块作为被测物体,投射激光光条并通过摄像机拍摄获取图像,选取左像机图像,如图10(e)所示,运用本文方法进行光条提取,其中某一光条提取结果如图10(f)所示。

图 10. 光条提取测试结果。(a)自定义图案;(b)自定义图案的提取结果;(c)不规则金属板的左摄像机图像;(d)不规则金属板的提取结果;(e)石块的左摄像机图像;(f)石块图像提取结果

Fig. 10. Test results of laser stripe extraction. (a) Custom pattern; (b) extraction result of custom pattern; (c) left camera image of irregular metal plate; (d) extraction result of irregular metal plate; (e) left camera image of stone; (f) extraction result of stone

下载图片查看所有图片

上述实验从不同方面证明了本文光条提取方法的准确性。由图10(b)可知,本文方法对于随机不规则光条有较好的提取效果;由图10(d)可知,本文方法对于存在断裂缺失现象的不规则光条有较好的提取效果;由图10(f)可知,本文方法对于存在较大转折角度的不规则光条有较好的提取效果。以上三次实验证明,本文光条提取方法适用于不同被测物体,对于不规则光条及断裂光条均有较好的提取效果,具有较高的稳定性和实用性。

4.3 水下测量对比实验

为验证本文水下折射模型及匹配方法,进行了陆上与水下测量对比实验。选取半径20.058 mm的标准球作为被测物体,首先将标准球放于陆上环境,通过外极线匹配并按照(1)式获得其表面三维点云,将点云导入Imageware软件计算测量半径,在系统视场范围内选取10个不同位置进行测量并记录测量结果;然后将标准球放于水下环境,在视场内选取10个不同位置,首先不加折射补偿进行一次测量,记录测量半径,再按照折射补偿模型获得三维点云并计算测量半径。用R_l表示陆上测量半径,R_w表示水下不加折射补偿测量半径,R_w0表示水下折射补偿测量半径,测量结果及误差如表1所示。将某次水下测量点云导入Imageware软件计算点云偏差,结果如图11所示。

表 1. 标准球测量结果及误差

Table 1. Measurement results and errors of reference sphere（unit：mm）

No.	R_l	Error	R_w	Error	R_w0	Error
1	20.122	0.064	26.657	6.599	19.781	0.277
2	19.859	0.199	27.288	7.230	19.724	0.334
3	20.275	0.217	25.982	5.924	19.883	0.175
4	20.239	0.181	26.906	6.848	19.970	0.088
5	20.195	0.137	26.852	6.794	20.065	0.007
6	19.910	0.148	25.413	5.355	19.817	0.241
7	20.142	0.084	25.568	5.510	19.723	0.335
8	20.301	0.243	27.154	7.096	19.829	0.229
9	19.799	0.259	26.422	6.364	20.139	0.081
10	20.208	0.150	27.003	6.945	19.605	0.453
Max	20.301	0.259	27.288	7.230	20.139	0.453

查看所有表

图 11. 一次测量得到的球面点云图

Fig. 11. Spherical point clouds obtained from one measurement

下载图片查看所有图片

由表1可以看出:陆上标准球测量误差在0.3 mm以内,最大测量误差为0.259 mm;水下折射补偿测量误差大部分在0.3 mm以内,最大测量误差为0.453 mm,考虑到标准球位于的视场位置不同以及水体浑浊等影响,该测量结果满足精度要求;而不加折射补偿时测量误差基本大于6 mm,最大误差为7.23 mm,与真实值偏差较大。结果证明了本文折射补偿模型准确有效。由表1可知,陆上与水下测量误差相差不大,测量精度相当;由图11可知,根据水下一次测量所获点云拟合的球体进行点云法向偏差计算得到的最大正负法向偏差分别为0.38 mm和-0.33 mm,偏差较小。证明本文提出的水下匹配算法能得到较为准确的匹配结果。

为验证本文匹配方法及折射模型的测量精度,采用不同方法进行水下测量对比实验,选取半径20.058 mm的标准球为被测物体。首先按照本文测量方法进行测量,计算测量半径并记录;然后更换双目匹配方法,采用外极线斜率匹配法进行匹配,记录测量结果;最后将本文折射模型换为极线约束模型进行测量,记录测量结果。更换10次位置,对每个位置进行上述三次测量,用R₁表示本文方法测量半径,R₂表示更换匹配方法后测量半径,R₃表示更换折射模型后测量半径,测量结果及误差如表2所示。

表 2. 不同方法测量结果及误差

Table 2. Measurement results and errors of different methods（unit：mm）mm

No.	R₁	Error	R₂	Error	R₃	Error
1	20.272	0.214	20.744	0.686	25.803	5.745
2	20.311	0.253	19.613	0.445	27.012	6.954
3	20.358	0.300	19.371	0.687	27.483	7.425
4	19.803	0.255	20.633	0.575	26.522	6.464
5	20.188	0.130	20.471	0.413	27.537	7.479
6	20.097	0.039	20.852	0.794	25.801	5.743
7	19.970	0.088	21.208	1.150	26.850	6.792
8	19.711	0.347	20.505	0.447	26.074	6.016
9	19.755	0.303	20.611	0.553	27.112	7.054
10	20.278	0.220	19.279	0.779	25.465	5.407
Max	20.358	0.347	21.208	1.150	27.537	7.479

查看所有表

由表2可知:本文方法测量误差大致在0.3 mm以内,最大测量误差为0.347 mm;更换匹配方法后测量误差增大到0.5 mm左右,最大测量误差为1.150 mm;更换折射模型后测量误差达到6~7 mm,最大测量误差为7.479 mm;第一次测量误差最小,其余两次均大于第一次。由第一次和第二次测量结果可知,本文匹配方法相较于外极线匹配法测量精度更高;由第一次和第三次测量结果可知,本文提出的水下折射模型测量精度远高于极线约束模型。上述对比证明本文提出的水下折射模型和匹配方法相较于现有方法有更高的测量精度,更能满足实际测量需要。

4.4 水下物体三维重建实验

为检验本文系统对水下物体的测量及三维还原效果,进行水下一般物体三维重建实验。选取具有代表性的白色金属钣金件和大型石块作为被测物体,对其进行三维形貌还原。首先将金属钣金件放入水中并固定于支架上,通过该系统对其进行测量,将获得的三维点云导入Imageware软件并判断其形状还原情况,测量结果如图12所示。

再将石块放入水中,通过该系统对其进行测量,将获得的三维点云导入Imageware软件并判断其形状还原情况,测量结果如图13所示。

由图12和图13可以看出,该测量系统对于水下一般物体具有较好的三维还原效果,所获得点云能够准确描述物体的三维外形,证明本文测量系统能够实现水下物体的三维测量,折射模型及匹配方法具有准确性和有效性。

图 12. 水下钣金件三维测量。(a)实验环境;(b)被测物体;(c)三维点云

Fig. 12. Three-dimensional measurement of underwater sheet metal parts. (a) Experimental environment; (b) measured object; (c) three-dimensional point clouds

下载图片查看所有图片

图 13. 水下石块三维测量。(a)被测物体;(b)三维点云

Fig. 13. Three-dimensional measurement of underwater rock. (a) Measured object; (b) three-dimensional point clouds

下载图片查看所有图片

5 结论

本文设计了一种基于线结构光阵列的水下双目测量系统,通过激光光条为被测物体提供大量特征点,针对光线折射问题,建立水下非平行不共折射面双目测量系统光路折射模型,并提出一种改进的外极线双目匹配方法,将其应用于水下环境。实验结果证明,该系统对水下标准球的测量精度与陆上相当,解决了测量误差较大的问题,对于一般物体具有较好的三维重建效果,测量过程中无需扫描,操作简便,适用于水下环境实时定位测量。

参考文献

[1] Huo G Y, Wu Z Y, Li J B, et al. Underwater target detection and 3D reconstruction system based on binocular vision[J]. Sensors, 2018, 18(10): 3570.

[2] 肖心远, 蒋波, 倪江忠, 等. 基于极线约束的机器人双目视觉水下焊缝特征匹配研究[J]. 制造业自动化, 2012, 34(10): 119-123.

Xiao X Y, Jiang B, Ni J Z, et al. Research on underwater welding seam feature matching of robot binocular vision based onepipolar constraint[J]. Manufacturing Automation, 2012, 34(10): 119-123.

[3] Wu YL, NianR, HeB, et al. 3D reconstruction model of underwater environment in stereo vision system[C]∥2013 OCEANS - San Diego, September 23-27, 2013, San Diego, CA, USA. New York: IEEE, 2013: 6741275.

[4] Pi SM, HeB, Zhang SJ, et al. Stereo visual SLAM system in underwater environment[C]∥OCEANS 2014 - TAIPEI, April 7-10, 2014, Taipei, Taiwan, China. New York: IEEE, 2014: 6964369.

[5] Treibitz T, Schechner Y, Kunz C, et al. Flat refractive geometry[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(1): 51-65.

[6] 盛明伟, 周浩, 黄海, 等. 一种水下双目视觉测距方法研究[J]. 华中科技大学学报(自然科学版), 2018, 46(8): 93-98.

Sheng M W, Zhou H, Huang H, et al. Study on an underwater binocular vision ranging method[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition), 2018, 46(8): 93-98.

[7] 马瑞浩, 朱枫, 吴清潇, 等. 基于图像分割的稠密立体匹配算法[J]. 光学学报, 2019, 39(3): 0315001.

Ma R H, Zhu F, Wu Q X, et al. Dense stereo matching algorithm based on image segmentation[J]. Acta Optica Sinica, 2019, 39(3): 0315001.

[8] 张强, 董玉, 李海滨, 等. 非平行双目视觉系统水下成像的极线约束模型[J]. 光学学报, 2016, 36(3): 0315001.

Zhang Q, Dong Y, Li H B, et al. Underwater curve constraint model based on non-parallel binocular vision[J]. Acta Optica Sinica, 2016, 36(3): 0315001.

[9] Kawahara R, Nobuhara S, Matsuyama T. Dynamic 3D capture of swimming fish by underwater active stereo[J]. Methods in Oceanography, 2016, 17: 118-137.

[10] Kang L, Wu L D, Wei Y M, et al. Two-view underwater 3D reconstruction for cameras with unknown poses under flat refractive interfaces[J]. Pattern Recognition, 2017, 69: 251-269.

[11] 李煊, 张铭钧. 水下双目视觉系统中的目标分割和目标定位[J]. 华中科技大学学报(自然科学版), 2017, 45(12): 53-59.

Li X, Zhang M J. Target segmentation and target positioning of underwater binocular vision system[J]. Journal of Huazhong University of Science and Technology(Natural Science Edition), 2017, 45(12): 53-59.

[12] OuyangB, DalgleishF, NegahdaripourS, et al. Experimental study of underwater stereo via pattern projection[C]∥2012 Oceans, October 14-19, 2012, Hampton Roads, VA. New York: IEEE, 2012: 6404976.

[13] 陈元杰, 朱康武, 葛耀峥, 等. 基于双目视觉的水下定位系统[J]. 机电工程, 2011, 28(5): 567-573.

Chen Y J, Zhu K W, Ge Y Z, et al. Binocular vision based locating system for underwater inspection[J]. Journal of Mechanical & Electrical Engineering, 2011, 28(5): 567-573.

[14] 陈云赛, 杨磊, 宫垠, 等. 基于线结构光的水下目标扫描定位方法[J]. 机器人, 2018, 40(6): 786-793, 802.

Chen Y S, Yang L, Gong Y, et al. Underwater target scanning and location method based on line structured light[J]. Robot, 2018, 40(6): 786-793, 802.

[15] BhargavaN, TrivediP, ToshniwalA, et al. Iterative region merging and object retrieval method using mean shift segmentation and flood fill algorithm[C]∥2013 Third International Conference on Advances in Computing and Communications, August 29-31, 2013, Cochin, India. New York: IEEE, 2013: 157- 160.

[16] 解则晓, 余江姝, 迟书凯, 等. 非平行双目视觉系统水下标定与测量[J]. 光学学报, 2019, 39(9): 0912004.

Xie Z X, Yu J S, Chi S K, et al. Underwater calibration and measurement based on non-parallel stereovision[J]. Acta Optica Sinica, 2019, 39(9): 0912004.

解则晓, 李俊朋, 迟书凯. 基于线结构光的水下双目测量方法[J]. 中国激光, 2020, 47(5): 0504004. Zexiao Xie, Junpeng Li, Shukai Chi. Underwater Binocular Measurement Method Based on Line-Structured Light[J]. Chinese Journal of Lasers, 2020, 47(5): 0504004.

基于线结构光的水下双目测量方法 下载： 1532次

1 引言

2 水下双目测量系统

2.1 系统结构与工作原理

图 1. 水下双目测量系统。(a)内部结构俯视图;(b)设备密封外形图

Fig. 1. Underwater binocular measurement system. (a) Top view of internal structure; (b) seal outline drawing of equipment

图 2. 双目立体视觉模型

Fig. 2. Binocular stereo vision model

图 3. 测量系统工作流程图

Fig. 3. Flow chart of measurement system

2.2 多光条提取方式

图 4. 线结构光阵列

Fig. 4. Line-structured light array

3 水下三维测量

3.1 水下双目折射模型

图 5. 水下双目系统测量模型

Fig. 5. Measurement model of underwater binocular system

3.2 双目匹配

图 6. 水下双目系统成像

Fig. 6. Underwater binocular system imaging

图 7. 极线几何约束原理图

Fig. 7. Schematic of polar geometric constraints

图 8. 外极线与光条交点示意图

Fig. 8. Intersection of external polar and light bar

4 实验结果与分析

4.1 特征提取对比实验

图 9. 特征提取对比结果。(a)圆柱;(b)钣金件;(c)本文方法的圆柱点云;(d)图像方法的圆柱点云;(e)本文方法的钣金件点云;(f)图像方法的钣金件点云

Fig. 9. Comparison results of feature extraction. (a) Cylinder; (b) sheet metal parts; (c) cylindrical point cloud of proposed method; (d) cylindrical point cloud of image method; (e) point cloud of sheet metal parts of proposed method; (f) point cloud of sheet metal parts of image method

4.2 光条提取实验

图 10. 光条提取测试结果。(a)自定义图案;(b)自定义图案的提取结果;(c)不规则金属板的左摄像机图像;(d)不规则金属板的提取结果;(e)石块的左摄像机图像;(f)石块图像提取结果

Fig. 10. Test results of laser stripe extraction. (a) Custom pattern; (b) extraction result of custom pattern; (c) left camera image of irregular metal plate; (d) extraction result of irregular metal plate; (e) left camera image of stone; (f) extraction result of stone

4.3 水下测量对比实验

表 1. 标准球测量结果及误差

Table 1. Measurement results and errors of reference sphere（unit：mm）

图 11. 一次测量得到的球面点云图

Fig. 11. Spherical point clouds obtained from one measurement

表 2. 不同方法测量结果及误差

Table 2. Measurement results and errors of different methods（unit：mm）mm

4.4 水下物体三维重建实验

图 12. 水下钣金件三维测量。(a)实验环境;(b)被测物体;(c)三维点云

Fig. 12. Three-dimensional measurement of underwater sheet metal parts. (a) Experimental environment; (b) measured object; (c) three-dimensional point clouds

图 13. 水下石块三维测量。(a)被测物体;(b)三维点云

Fig. 13. Three-dimensional measurement of underwater rock. (a) Measured object; (b) three-dimensional point clouds

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于线结构光的水下双目测量方法下载： 1532次