双平面镜双相机数字图像相关技术在三维重建中的应用

三维数字图像相关技术在获取工件表面信息方面有重要应用，针对单相机系统在全场测量中的局限性及多相机系统在全场测量中的复杂性，本文提出一种双平面镜辅助的双相机视觉测量方法，并应用在三维重建中。即：分析像素点到三维点的实际映射关系，基于公垂线中点法进行目标点三维重构，确定棋盘格标定板角点的三维坐标；分析角点在镜面的虚实对应关系，标定镜面位置方程，得到反射变换矩阵；通过反射变换矩阵完成物面的虚实转换，最终实现三维全场测量。为验证该方法的可行性和可靠性，分别进行了静态实验和动态实验。结果表明：在游戏币静态实验中，其正反轮廓的三维重建效果良好；在五棱铝柱热变形动态实验中，铝柱外侧表面高度变化均值与Ansys软件的仿真结果基本一致，且优于在镜面上喷涂散斑的重建方法，具有较高的精度。

Abstract

Objective

Digital image correlation (DIC) technology is a processing method commonly employed for image matching, and meanwhile after nearly forty years of development, its accuracy, efficiency, practicality, and other aspects have yielded significant improvement. With the development and progress of science and technology, DIC technology for three-dimensional (3D) measurement should also be economical and practical, with the utilization of relatively simple devices for a full range of functions. DIC measurement systems with the assistance of the camera and external equipment can also be realized with multiple viewpoints and multi-directional measurements, on which many scholars have carried out thorough research. Among them, the single camera system has a flexible field of view adjustment and simple optical path, but features poor stability and low accuracy. The multi-camera system requires the adoption of multiple cameras, and the calibration process is complicated. Although the multi-camera measurement system can improve the range and accuracy of 3D measurement, it is difficult to be widely leveraged in 3D full-field measurement due to the high requirements of environmental conditions and the expensive cameras. Given the shortcomings of the existing single-camera and multi-camera systems, we propose a dual-camera 3D reconstruction method assisted by dual plane-mirror.

Methods

We put forward a visual 3D measurement method assisted by a dual plane-mirror, which is to analyze the virtual and real correspondences of the corner points in the mirror surface and thus obtain the reflection transformation matrix. Meanwhile, the virtual and real transformations of the object surface are completed by the reflection transformation matrix, and the 3D full-field measurements are realized finally. Additionally, this method avoids spraying diffuse spots on mirrors to take up the spatial resolution of the camera, making the solution of the reflection transformation matrix easy and efficient. Firstly, the image information of the front surface and the back side surface of the object is acquired simultaneously by the dual-camera DIC measurement system (Fig. 1). Secondly, the calibration plate is placed in front of the plane mirror, and the dual cameras can observe the real calibration plate and the virtual image in the mirror at the same time (Fig. 4). The midpoint method based on the common vertical line is adopted to determine the 3D coordinates of the corner points in space (Fig. 5), and the specific positions of the dual plane mirrors are finally determined by changing the position of the calibration plate several times. Finally, the reflection transformation matrix is solved by the mirror position equation, and then the 3D reconstruction of the object is completed.

Results and Discussions

To verify the accuracy of the proposed method, we conduct static and dynamic experiments on the measured parts respectively. In the static experiments, the 3D contour of the game coin is reconstructed, and in the dynamic experiments, the thermal deformation of the five-side aluminum column is investigated (Fig. 6). By employing the proposed method, the dual-mirror equation and reflection transformation matrix can be obtained under the mirror angle of 108° (Table 1). The front and back contours of the ordinary game coin are reconstructed in three dimensions, the theoretical thickness of the game coin is 1.80 mm, and the measured thickness is around 1.75 mm (Fig. 9). The reconstruction method of spraying diffuse spots on the mirror surface is compared to verify the 3D reconstruction accuracy of the proposed method (Fig. 9), and the 3D reconstruction of the game coin by the proposed method is found to be better than that of spraying diffuse spots on the mirror surface. Meanwhile, the proposed method avoids taking up the spatial resolution of the camera by spraying diffuse spots on the mirror surface, with higher accuracy.

Aluminum column 3D reconstruction and thermal deformation measurement results are shown. Firstly, the reconstruction results of the surface profile of the five-side aluminum column are obtained by the proposed method (Fig. 10), the real height of the aluminum column is 70.00 mm±0.01 mm, and the average measurement height is 70.0035 mm, which is a sound measurement effect. Secondly, the average height change of the five outer surfaces of the aluminum column can be obtained during thermal deformation (Table 2). The thermal deformation displacement cloud map of the outer surfaces is shown in Fig. 11 and the height change of different surfaces in the cooling process is illustrated in Fig. 12. To more intuitively demonstrate the accuracy of the proposed method of real-virtual transformation, we compare and analyze the deviation values of the height change obtained by the two methods at each node (Fig. 13), which shows that the proposed method has higher measurement accuracy.

Conclusions

We propose a dual plane mirror-assisted visual DIC 3D full-field measurement method. The static experiment results indicate that the proposed method is better than the reconstruction method of spraying diffuse spots on mirrors for the 3D reconstruction of game coins with higher accuracy. The results of dynamic thermal deformation experiments indicate that when the temperature of the five-side aluminum column is reduced from 330 to 20 ℃, the height change of the outer surfaces of the column is basically consistent with the simulation results of the finite element software, and the deviation values of the height change measured by the proposed method are smaller than those of the method of spraying diffuse spots on mirrors. Since the proposed method can avoid spraying diffuse spots on mirrors to take up the spatial resolution of the camera, it features simple operation, high measurement accuracy, and sound application perspectives.

1　引言

数字图像相关（DIC）技术是一种图像匹配的常用处理方法，经过近四十年的发展^［1-3］，在精度、效率、实用性等方面都取得了显著的提高，并且在土木工程、生物组织、航空航天等领域都具有很高的实用价值^［4］。DIC测量系统借助于相机和外部设备可以实现多视角、多方位的测量^［5-7］。

在三维（3D）测量方面^［8-12］很多学者开展了深入研究。2011年，Orteu等^［13］开发了第一个“主摄像机”结构的多视角数字图像相关测量系统，该系统使用四台相机进行匹配，实现被测件形状的三维测量。2016年，Li等^［14］提出了一种用于全场厚度应变测量的多相机DIC测量系统，该系统也使用了四个相机，两对相机分别测量试件的正面和背面，每对相机构成一个双目DIC测量系统，通过标定将两个子系统联系起来，实现全场厚度应变测量。随后，还有学者提出使用更多的相机建立用于表面形变测量的多视角DIC测量系统^［15-16］，为了匹配整个系统，需要调整相机使其拥有公共视场，从而实现较大的表面形变测量。尽管多相机系统可以提高3D测量的范围和精度，但是由于测量视场受限、相机价格昂贵等因素的影响，使得多相机系统难以广泛应用于3D全场测量中。近年来，在外部设备的辅助下，DIC测量系统更易于实现3D全场测量。Yu等^［17］采用单相机与四平面镜结合用于3D形变测量，镜面辅助的伪立体成像系统由两个虚拟相机组成，等价于从两个视角观察被测件，并将被测件的表面图像信息记录到摄像机传感器的两半上。Ge等^［18］利用单相机和六平面镜结合实现3D全景测量，通过光路转换将单相机拓展为四台虚拟相机。Wang等^［19］利用单彩色相机与分束器结合，通过提取红绿蓝（RGB）图像中三通道信息最终实现复杂试件轮廓的精确测量。以上方法均利用单相机构成两个或多个伪相机，降低了实验成本。随后，Chen等^［20-22］利用双相机与双平面镜结合，通过在镜面上喷涂散斑或者改变双镜面之间的夹角获得镜面的反射变换矩阵，最终实现3D重建和形变测量。为了使操作更加简便，Li等^［23］同样利用基于相机标定的坐标转换关系，最终实现全场形变测量。还有学者将棱镜或投影仪辅助相机来实现3D测量^［24-26］，相比于平面镜辅助的DIC测量系统，其测量视场有限。

鉴于现有单相机和多相机系统存在的缺陷，本文提出了一种双平面镜辅助的双相机3D重建方法，解决了单相机系统测量精度不高以及多相机系统标定复杂、成本昂贵等问题。为了提高镜面辅助DIC测量系统的测量精度，本文利用两异面射线公垂线中点^［27］进行目标点3D重构，通过求解与放置在镜面前的棋盘格标定板角点有对应关系的镜面位置方程，最终实现被测件表面的3D重建，避免了在镜面上喷涂散斑占用相机的空间分辨率，使反射变换矩阵的求解变得简便且高效，解决了反射变换矩阵求解复杂且测量精度不高的问题。该方法所需的镜面尺寸更小，反射镜之间的夹角可调整的范围更大，且实验装置简单、测量精度高，在获取被测件表面信息及3D重建方面具有显著优势。

2　双平面镜双相机DIC测量系统

2.1　测量原理

对双平面镜双相机DIC测量系统进行完整搭建，如图1所示。在被测件表面喷涂散斑并放置在水平实验台上，左右相机放置在被测件前方。为了完整地得到被测件的3D形貌，两前镀膜平面反射镜 $R_{1} 、 R_{2}$ 分别放置在被测件的后方，并调整镜面夹角，双目DIC测量系统可同时获得被测件前表面、左后侧表面和右后侧表面，分别如图1（a）、1（b）中的 $L_{1} 、 L_{2} 、 L_{3}$ 和 $L_{1}^{'} 、 L_{2}^{'} 、 L_{3}^{'}$ 所示。

图 1. 双平面镜双目DIC测量系统

Fig. 1. Binocular DIC measurement system with dual plane-mirror

下载图片查看所有图片

2.2　3D坐标点匹配过程

从左相机拍摄得到的参考图像中的每个感兴趣表面分别指定一个感兴趣区域（ROI），用虚线框区域来划分不同表面部分，如图1（a）所示。设被测件表面的任意一点，其在世界坐标系中表示为 $P_{w} (x_{w}, y_{w}, z_{w})$ ，投影到左右相机的传感器上，对应像素坐标分别为 $P_{l} (x_{l}, y_{l}) 、 P_{r} (x_{r}, y_{r})$ ，3D形状重建的基本过程如图2所示。

图 2. 基于子集的双目DIC测量系统示意图

Fig. 2. Schematic diagram of subset-based binocular DIC measurement system

下载图片查看所有图片

以左相机参考图像的ROI1为例，首先在ROI1中指定计算点 $P_{l} (x_{l}, y_{l})$ ，在参考状态时，用基于亚像素的DIC算法将 $P_{l} (x_{l}, y_{l})$ 处的图像和 $P_{r} (x_{r}, y_{r})$ 处的图像进行匹配^［28］，在形变状态时，再将 $P_{l}^{'} (x_{l}^{'}, y_{l}^{'})$ 处的图像和 $P_{r}^{'} (x_{r}^{'}, y_{r}^{'})$ 处的图像进行匹配。采用反向高斯-牛顿算法进行迭代优化^［29］，以零均值归一化互相关函数的值作为评判匹配优劣的标准：

C_{Z N S S D} (P) = \sum_{i = - M}^{M} \sum_{j = - M}^{M} [\frac{f (x_{l}^{i}, y_{l}^{j}) - f_{m}}{\sqrt[]{\sum_{i = - M}^{M} \sum_{j = - M}^{M} [f (x_{l}^{i}, y_{l}^{j}) - f_{m}]}} -

\frac{g (x_{r}^{i}, y_{r}^{j}) - g_{m}}{\sqrt[]{\sum_{i = - M}^{M} \sum_{j = - M}^{M} [g (x_{r}^{i}, y_{r}^{j}) - g_{m}]}}]

，（1）

式中： $f (x_{l}^{i}, y_{l}^{j})$ 是参考子区 $P_{l} (x_{l}, y_{l})$ 周围点的灰度值； $g (x_{r}^{i}, y_{r}^{j})$ 是形变子区 $P_{r} (x_{r}, y_{r})$ 周围点的灰度值； $f_{m} 、 g_{m}$ 分别是参考子区和形变子区的平均灰度值。由此便可得到目标图像上所有对应点的像素坐标，进而求解3D坐标。

2.3　虚实像反射变换矩阵

物体表面经过平面镜反射为虚像，通过反射变换将虚像转换至其真实位置，如图3所示。以右镜面 $R_{2}$ 为例进行分析，为了简化计算，令世界坐标系与左相机坐标系重合，对于被测件上任一点 $P_{r}$ ，经过镜面所成虚像为 $P_{v}$ ，并且投影在镜面上的点为 $P_{c}$ 。过点 $O$ 作到镜面的垂线，交点为 $O_{r}$ ，过点 $P_{r}$ 作一条与平面镜平行的射线，该射线与 $O O_{r}$ 线相交于点 $O_{d}$ ，设点 $P_{r}$ 到镜面的距离为 $d_{p c}$ ，镜面的单位法向量为 $\vec{n}$ ，相机坐标系原点 $O$ 到镜面的距离为 $d$ 。由几何关系得

图 3. 镜面反射变换分析

Fig. 3. Analysis of specular reflection transformation

下载图片查看所有图片

\vec{P_{r} P_{v}} = 2 \vec{P_{r} P_{c}} = 2 \vec{P_{c} P_{v}} = 2 d_{p c} \cdot \vec{n}

，（2）

同时可得

d = d_{p c} + d_{0} = d_{p c} + {\vec{n}}^{T} \cdot \vec{O P_{r}}

。（3）

由 $P_{r}$ 和 $P_{v}$ 关于镜面的对称性可得

\vec{O P_{v}} = \vec{O P_{r}} + 2 \vec{P_{r} P_{c}} = \vec{O P_{r}} + 2 d_{p c} \cdot \vec{n}

，（4）

将式（3）代入式（4），消去 $d_{p c}$ 可得

\vec{O P_{v}} = \vec{O P_{r}} + 2 \vec{n} \cdot (d - {\vec{n}}^{T} \cdot \vec{O P_{r}})

。（5）

将式（5）写成矩阵形式，即为

(\begin{matrix} P_{v} \\ 1 \end{matrix}) = D_{v r} \cdot (\begin{matrix} P_{r} \\ 1 \end{matrix})

，（6）

式中， $D_{v r}$ 为实像到虚像的反射变换矩阵，表示为

D_{v r} = [\begin{matrix} I_{3 \times 3} - 2 \vec{n} \cdot {\vec{n}}^{T} & 2 \vec{n} \cdot d \\ 0 & 1 \end{matrix}]

。（7）

因 $D_{v r}$ 具有对合性，即满足 $D_{v r} = D_{v r}^{- 1}$ ，则虚点 $P_{v}$ 到实点 $P_{r}$ 的转换可表示为

(\begin{matrix} P_{r} \\ 1 \end{matrix}) = D_{v r} \cdot (\begin{matrix} P_{v} \\ 1 \end{matrix})

。（8）

2.4　成像畸变校正

对于普通的工业相机，二阶畸变校正即可满足对原始图像的校正，考虑到相机制造精度及组装精度，为了实现双相机的高精度标定，采用三阶径向畸变系数进行畸变矫正，其校正模型表示为

\{\begin{matrix} x_{d} = x (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) \\ y_{d} = y (1 + k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) \end{matrix}

，（9）

切向畸变校正模型表示为

\{\begin{matrix} x_{d} = x + 2 p_{1} y + p_{2} (r^{2} + 2 x^{2}) \\ y_{d} = y + 2 p_{2} x + p_{1} (r^{2} + 2 y^{2}) \end{matrix}

，（10）

式中： $x 、 y$ 和 $x_{d} 、 y_{d}$ 分别对应为无畸变和畸变后的图像点坐标； $r^{2} = x^{2} + y^{2}$ ； $k_{1} 、 k_{2} 、 k_{3}$ 为径向畸变系数； $p_{1} 、 p_{2}$ 为切向畸变系数。

双相机DIC测量系统对标定精度要求较高，为了提高系统测量精度，当完成对相机内外参数和畸变系数的初步估计后，对得到的初步标定结果进行优化。捆绑调整作为一种应用广泛的优化模型，结合收敛速度快、稳定性强的Levenberg-Marquardt算法可以对前期得到的全局参数进一步优化来提高标定精度，其目标函数表示为

m i n f = {\sum_{i = 1}^{I} \sum_{j = 1}^{J} ‖x_{i j} - x_{i j}^{'} (U, k_{1}, k_{2}, k_{3}, p_{1}, p_{2}, H_{i})‖}^{2}

，（11）

式中： $U$ 为相机的内参矩阵； $H_{i}$ 为第 $i$ 幅标定板图像的空间转移矩阵； $i = 1, 2, 3, \dots, I$ 为拍摄标定板图像的数量； $j = 1, 2, 3, \dots, J$ 为单张标定板图像的角点数。通过求解上述目标函数的最小值，最终实现优化全局参数，完成全局参数标定后，利用优化得到的相机内参和畸变系数可以对拍摄的原始图像进行畸变校正。

2.5　平面镜位置标定

为了实现全场测量，需要标定两镜面的位置方程，以确定反射变换矩阵实现虚实像的转换。如图4所示，将棋盘格标定板放置在平面镜前，两个相机可以同时观测到真实标定板以及镜中的虚像，根据像素点到3D点的实际映射关系，采用基于公垂线中点法来确定棋盘格角点的空间3D坐标，通过多次改变棋盘格标定板的位置最终确定两平面镜的具体姿态。

图 4. 获取镜面位置方程

Fig. 4. Obtaining mirror position equations

下载图片查看所有图片

双目立体视觉模型如图5所示。理想情况下，左右相机光心与拍摄的像素坐标点连线为相交的两条射线，交点即为空间3D点，但因左右相机标定误差以及外界噪声的影响，使得 $O_{c l} P_{c l}$ 和 $O_{c r} P_{c r}$ 不能相交于一点，为两条异面的射线，为此取两异面射线公垂线中点作为目标3D重构点。

图 5. 基于公垂线中点法进行角点的3D重构

Fig. 5. 3D reconstruction of corner points based on common vertical midpoint method

下载图片查看所有图片

设任一棋盘格角点 $P$ 投影到左右相机中的一对像点分别为 $P_{c l} 、 P_{c r}$ ，通过角点检测得到其在像素坐标系下的坐标后，结合前期优化得到的相机内部参数，可以确定这对像点 $P_{c l} 、 P_{c r}$ 在左相机和右相机坐标系下的坐标，分别表示为 $P_{c l} (x_{c l}, y_{c l}, z_{c l}) 、 P_{c r} (x_{c r}, y_{c r}, z_{c r})$ ；与此同时，通过前期得到的相机外部参数 $R_{l r}$ 、 $T_{l r}$ ，将右相机坐标系 $O_{c r} - X_{c r} Y_{c r} Z_{c r}$ 下的像点 $P_{c r} (x_{c r}, y_{c r}, z_{c r})$ 和光心 $O_{c r} (0,0, 0)$ 转换到左相机坐标系 $O_{c l} - X_{c l} Y_{c l} Z_{c l}$ 下，对应点为 $P_{c} 、 O_{c}$ ，其坐标转换矩阵关系为

\{\begin{matrix} P_{c} = R_{l r}^{- 1} (P_{c r}^{T} - T_{l r}) \\ O_{c} = R_{l r}^{- 1} (O_{c r}^{T} - T_{l r}) \end{matrix}

，（12）

式中， $P_{c l} 、 O_{c l} 、 P_{c r} 、 O_{c r}$ 在左相机坐标系下的坐标分别表示为 $P_{c l} (x_{c l}, y_{c l}, z_{c l})$ 、 $O_{c l} (x_{o l}, y_{o l}, z_{o l})$ 、 $P_{c} (x_{c}, y_{c}, z_{c})$ 、 $O_{c} (x_{o}, y_{o}, z_{o})$ 。则两射线 $O_{c l} P_{c l} 、 O_{c r} P_{c r}$ 在左相机坐标系下的直线方程为

\{\begin{matrix} \frac{x - x_{c l}}{m_{1 x}} = \frac{y - y_{c l}}{m_{1 y}} = \frac{z - z_{c l}}{m_{1 z}} \\ \frac{x - x_{c}}{m_{2 x}} = \frac{y - y_{c}}{m_{2 y}} = \frac{z - z_{c}}{m_{2 z}} \end{matrix}

。（13）

两射线的方向向量分别表示为 $M_{1} = {[m_{1 x}, m_{1 y}, m_{1 z}]}^{T} 和 M_{2} = {[m_{2 x}, m_{2 y}, m_{2 z}]}^{T}$ ，其中 $m_{1 x} = x_{o l} - x_{c l}$ ， $m_{1 y} = y_{o l} - y_{c l}$ ， $m_{1 z} = z_{o l} - z_{c l}$ ， $m_{2 x} = x_{o} - x_{c},$ $m_{2 y} = y_{o} - y_{c}, m_{2 z} = z_{o} - z_{c}$ 。设这两射线公垂线方向向量为 $N$ ，即

N = M_{1} \times M_{2} = [n_{x}, n_{y}, n_{z}]

，（14）

式中： $n_{x} = m_{1 y} \cdot m_{2 z} - m_{1 z} \cdot m_{2 y}$ ； $n_{y} = m_{1 z} \cdot m_{2 x} -$ $m_{1 x} \cdot m_{2 z}$ ； $n_{z} = m_{1 x} \cdot m_{2 y} - m_{1 y} \cdot m_{2 x}$ 。

令公垂线与两射线交点分别表示为 $E (x_{e}, y_{e}, z_{e})$ 、 $F (x_{f}, y_{f}, z_{f})$ ，其中 $x_{e} = x_{c l} + m_{1 x} \cdot t_{l}$ ， $y_{e} = y_{c l} + m_{1 y} \cdot t_{l}$ ， $z_{e} = z_{c l} + m_{1 z} \cdot t_{l}$ ， $x_{f} = x_{c} + m_{2 x} \cdot t_{r}$ ， $y_{f} = y_{c} + m_{2 y} \cdot t_{r}$ ， $z_{f} = z_{c} + m_{2 z} \cdot t_{r}$ 。 $t_{l} 、 t_{r}$ 为待求未知参数，公垂线方向向量与 $\vec{E F}$ 的几何关系满足下式：

\frac{x_{e} - x_{f}}{n_{x}} = \frac{y_{e} - y_{f}}{n_{y}} = \frac{z_{e} - z_{f}}{n_{z}}

，（15）

可求得

t_{l} = \frac{|\begin{matrix} n_{x} & x_{c} - x_{c l} & m_{2 x} \\ n y & y_{c} - y_{c l} & m_{2 y} \\ n_{z} & z_{c} - z_{c l} & m_{2 z} \end{matrix}|}{|\begin{matrix} n_{x} & m_{1 x} & m_{2 x} \\ n_{y} & m_{1 y} & m {}_{2 y} \\ n_{z} & m_{1 z} & m_{2 z} \end{matrix}|}

，

t_{r} = \frac{|\begin{matrix} n_{x} & m_{1 x} & x_{c} - x_{c l} \\ n_{y} & m_{1 y} & y_{c} - y_{c l} \\ n_{z} & m_{1 z} & z_{c} - z_{c l} \end{matrix}|}{|\begin{matrix} n_{x} & m_{1 x} & m_{2 x} \\ n_{y} & m_{1 y} & m {}_{2 y} \\ n_{z} & m_{1 z} & m_{2 z} \end{matrix}|}

。（16）

将式（16）代入 $E$ 、 $F$ 坐标表达式，得到公垂线中点坐标为 $(\frac{x_{e} + x_{f}}{2}, \frac{y_{e} + y_{f}}{2}, \frac{z_{e} + z_{f}}{2})$ ，于是通过该方法可以精确获得标定板角点实像和虚像的空间3D坐标。

如图4所示，以右镜面 $R_{2}$ 为例，设标定板上任一角点 $P$ ，其坐标为 $P (a_{1}, b_{1}, c_{1})$ ，则虚像对应角点坐标为 $P^{'} (a_{2}, b_{2}, c_{2})$ ，根据空间几何关系，点 $P$ 和 $P^{'}$ 的连线中点 $P^{″}$ 位于镜面上。也就是说，镜面方程可以通过线性最小二乘法对所有角点连线中点拟合得到，设镜面方程为

A_{1} x + B_{1} y + C_{1} z + D_{1} = 0

，（17）

式中， $A_{1} 、 B_{1} 、 C_{1} 、 D_{1}$ 是待求系数。则镜面单位法向量 $\vec{n}$ 和镜面到相机坐标系原点距离 $d$ 分别为

\{\begin{matrix} \vec{n} = \frac{(A_{1}, B_{1}, C_{1})}{‖{(A_{1}, B_{1}, C_{1})}^{T}‖} \\ d = \frac{D_{1}}{‖{(A_{1}, B_{1}, C_{1})}^{T}‖} \end{matrix}

。（18）

因棋盘格标定板位置改变一次便可求得一组新的镜面3D点，通过多次移动标定板并采用下式对 $\vec{n}$ 和 $d$ 进行均值优化：

\{\begin{matrix} \vec{n} = \frac{1}{K} \sum_{i = 1}^{K} {\vec{n}}_{i} \\ d = \frac{1}{K} \sum_{i = 1}^{K} d_{i} \end{matrix}

，（19）

式中， $i = 1, 2, 3, \dots, K$ 是标定板的移动次数。

3　实验与结果

为了验证所提方法的准确性，分别对被测件进行静态实验和动态实验。在静态实验中，对游戏币的轮廓进行3D重建；在动态实验中，对五棱铝柱热变形进行研究。

3.1　整体实验装置

镜面辅助双目DIC测量系统如图6（a）所示，包括：用于采集和处理图像的计算机；两块前镀膜平面反射镜及镜架由光学精密仪器公司定制，其夹角可调节；两个CCD相机（相机型号为MANTA G-201B，分辨率为1624 pixel×1234 pixel）；相机适配的镜头（镜头型号为Cinegon-1.4/12，光圈范围为1.4~11.0）；LED冷光源；加热炉（最高加热温度为600 ℃）；红外电子测温仪（分辨率为0.1 ℃）等。被测件游戏币直径为25.00 mm，厚度为1.80 mm；被测件五棱铝柱底边长公称值为12.99 mm，高为70.00 mm。实验时须对被测件喷涂点数充足且分布均匀的耐高温散斑，喷涂散斑后实物如图6（b）、6（c）所示，五棱柱不同侧面分别表示为A、B、C、D、E。

图 6. 实验装置图。（a）镜面辅助双目DIC测量系统；（b）硬币实物图；（c）五棱铝柱实物图；（d）加热炉

Fig. 6. Diagram of experimental setup. (a) Mirror-assisted binocular DIC measurement system; (b) physical picture of coin; (c) physical picture of five-edge aluminum column; (d) heating furnace

下载图片查看所有图片

3.2　静态实验

3.2.1　实验过程

在静态实验中，按图6（a）搭建实验装置，将相机置于平台上，考虑到游戏币的形状与大小，以及相机到镜面的距离，为了使搭建的平面镜辅助双相机DIC测量系统能拍摄到被测件的全部形貌，调整两镜面夹角为120°，同时适当调整相机的相对位置。利用所提方法标定镜面位置方程，求解镜面方程时的部分标定图像如图7所示，虚实转换后可完成对游戏币的3D重建。

图 7. 部分镜面位置标定图像。（a）左相机；（b）右相机

Fig. 7. Partial calibration images of mirror position. (a) Left camera; (b) right camera

下载图片查看所有图片

3.2.2　游戏币3D重建结果

通过所提方法，可以得到不同夹角时的两镜面方程及反射变换矩阵，镜面夹角调整为108°时求得的结果如表1所示。

表 1. 两镜面方程及反射变换矩阵

Table 1. Two mirror equations and reflection transformation matrix

	Left mirror $R_{1}$				Right mirror $R_{2}$
Mirror equation	$0.5290 x + 0.0175 y - 0.8485 z + 422.3261 = 0$				$- 0.6315 x + 0.0131 y - 0.7753 z + 368.8289 = 0$
Transformation matrix	0.4403	-0.0185	0.8977	446.8210	0.2024	0.0165	-0.9792	-465.8309
	-0.0185	0.9994	0.0297	14.7814	0.0165	0.9997	0.0203	9.6633
	0.8977	0.0297	-0.4399	-716.6875	-0.9792	0.0203	-0.2022	-571.9061
	0	0	0	1.0000	0	0	0	1.0000

查看所有表

对普通游戏币的正反轮廓进行3D重建，游戏币的理论厚度为1.80 mm，测量厚度在1.75 mm左右，实物图如图8所示，本文所提方法对游戏币3D重建效果如图9（a）所示，从厚度云图可以清晰地看出，游戏币表面的英文字母及花纹图案重建效果良好。测量过程中游戏币摆放角度的不同会影响其侧面的测量，但对正反两面的重建几乎无影响，对表面纹路变化不明显的部分，散斑颗粒的大小也会对轮廓的重建造成影响。

图 8. 游戏币实物图

Fig. 8. Physical picture of game coins

下载图片查看所有图片

图 9. 游戏币3D重建。（a）本文所提方法重建效果；（b）镜面喷涂散斑方法重建效果

Fig. 9. 3D reconstruction of game coins. (a) Reconstruction effect of proposed method; (b) reconstruction effect of method of spraying diffuse spots on mirror surface

下载图片查看所有图片

鉴于在镜面上喷涂散斑的方法被广泛应用和研究，为了验证所提方法的3D重建精度，将其与在镜面上喷涂散斑的重建方法进行对比^［22］，镜面喷斑方法对游戏币3D重建效果如图9（b）所示，可以看出，所提方法对游戏币的3D重建效果好于在镜面上喷涂散斑的方法，并且对于轮廓有变化的构件也能实现全场测量，所提方法避免了在镜面上喷涂散斑占用相机空间分辨率，且精度较高，操作简单。

3.3　动态实验

3.3.1　实验过程

在动态实验中，同样按图6（a）搭建实验装置，考虑到五棱柱相邻侧面的夹角，为了使测量系统能呈现被测件的全部形貌，调整两镜面夹角为108°，利用所提方法标定镜面位置方程，可完成对五棱柱的3D重建。对于五棱柱的热形变测量，放置好被测件并标记位置，以免加热移动后位置发生较大变化，然后，将被测件放置于加热炉上加热至360 ℃后取出，放置在标记位置处自然冷却。将相机的采样频率设置为1 Hz，用红外电子测温仪实时测量被测件温度，待被测件温度降至330 ℃时相机开始拍摄，被测件温度降至20 ℃时相机停止拍摄，按设置的采样频率试件温度从330 ℃降至20 ℃时共采集1050帧图像。

3.3.2　铝柱3D重建及热变形测量结果

通过所提方法得到反射变换矩阵，对三部分点云进行虚实转换并统一到世界坐标系统中，得到五棱铝柱表面轮廓的重建结果，如图10所示，铝柱真实高度为70.00 mm±0.01 mm，测量平均高度为70.0035 mm。可见，所提方法可以实现3D全场测量，且测量效果良好。

图 10. 铝柱外表面重建结果

Fig. 10. Reconstruction results of outer surfaces of aluminum column

下载图片查看所有图片

试件温度为330 ℃时采集的图像为参考图像，20 ℃时采集的图像为目标图像，提取参考图像的所有轮廓点，选取试件 $y$ 方向上下轮廓边缘中点S、T作为两个特征点，基于DIC的方法找到剩余1049帧图像对应的特征点，被测件的高度用S、T两点连线的距离来表示，如图11（a）所示。测量系统导出试件A面参考图像和目标图像在 $y$ 方向的高度，结果如表2所示，试件A面在 $y$ 方向的高度平均变化量为0.2602 mm，根据所提方法得到B~E面第一帧和最后一帧图像高度平均变化量如表2所示，在 $y$ 方向的热形变位移云图如图11（b）~（e）所示。

图 11. 铝柱五个外侧表面的热形变结果。（a） A面；（b） B面；（c） C面；（d） D面；（e） E面

Fig. 11. Thermal deformation results of five outer surfaces of aluminum column. (a) Surface A; (b) surface B; (c) surface C; (d) surface D; (e) surface E

下载图片查看所有图片

表 2. 五棱铝柱起止温度下不同表面的高度

Table 2. Heights of different surfaces at starting and ending temperatures of aluminum column

Surface	330 ℃	20 ℃	Displacement
A	70.2646	70.0044	0.2602
B	70.2657	69.9996	0.2661
C	70.2623	69.9927	0.2696
D	70.2630	70.0041	0.2589
E	70.2639	70.0071	0.2568

查看所有表

为了直观地对比降温过程中不同表面的高度变化，对于采集的1050帧图像每50帧作为一个节点，进行对比分析可得，五棱铝柱的外侧表面在降温过程中沿高度方向的变化曲线几乎一致，如图12所示。从330 ℃到20 ℃的降温过程中，对于试件B~E面，根据所提方法进行虚实转换后高度方向平均热形变量为 $262.8 μ m$ ，根据镜面喷涂散斑的方法虚实变换后测得高度方向平均热形变量为 $263.9 μ m$ ，与未经虚实转换直接测得的A面平均热形变量 $260.2 μ m$ 进行对比，所提方法的偏差值仅为 $2.5 μ m$ ，测量精度较高。为了更直观地展现所提方法的虚实转换精度，在各节点处将所提方法、镜面喷涂散斑的方法得到的B~E面高度变化平均值，与未经虚实转换直接测得的A面高度变化平均值进行对比分析，如图13所示，所提方法得到的曲线始终在0值附近波动，降温过程中各节点处偏差值均低于镜面喷涂散斑的方法，可得所提方法测量精度更高，优于在镜面上喷涂散斑的方法。

图 12. 降温过程A~E面的高度变化趋势

Fig. 12. Height variation trend of plane A to E during temperature reduction

下载图片查看所有图片

图 13. 降温过程中两种方法的高度变化偏差值

Fig. 13. Deviation values of height changes during temperature reduction for both methods

下载图片查看所有图片

3.3.3　热变形仿真结果

作为对比，采用Ansys仿真软件分析五棱柱体的热变形情况，零件的物理参数如表3所示。考虑到有限元仿真软件精度和效率之间的关系，设置网格边长为1 mm，如图14（a）所示，仿真时将五棱铝柱底端固定并进行稳态仿真，初始温度设置为330 ℃，终止温度设置为20 ℃，得出在310 ℃温差时五棱铝柱沿 $z$ 方向的热形变量为 $258.3 μ m$ ，仿真结果如图14（b）所示。在同样的实验温差下，用本文所提方法得到被测件五个面沿 $z$ 方向的热形变平均变化量为 $260.4 μ m$ ，两者绝对误差为 $2.1 μ m$ ，相对误差为0.81%。综上所述，所提方法计算得到的零件热形变量与仿真结果几乎一致，可见所提方法可用于零件热变形全场测量中。存在的偏差可能是由于实际温度场与仿真温度场有偏差造成的。

表 3. 铝的物理参数

Table 3. Physical parameters of aluminum

Temperature /℃

Density /

$(g \cdot c m^{- 3})$

Thermal Conductivity /

$[W \cdot {(m \cdot k)}^{- 1}]$

Coefficient of thermal expansion

Specific heat capacity /

$[J \cdot {(g \cdot K)}^{- 1}]$

Elastic

modulus /GPa

Possion

ration

2.70

217.5

23.1

0.9

70.0

0.33

查看所有表

图 14. 采用Ansys对试件进行网格划分及热变形仿真。（a）有限元网格划分图；（b）热变形仿真结果

Fig. 14. Mesh division and thermal deformation simulation of specimen by Ansys. (a) Finite element meshing map; (b) simulation result of thermal deformation

下载图片查看所有图片

4　结论

本文提出了一种双平面镜辅助的双相机视觉测量的方法，通过平面镜的光路转换实现从不同角度对被测件进行3D测量。静态实验结果表明，所提方法对游戏币的3D重建效果优于在镜面上喷涂散斑的重建方法，且精度较高。动态实验结果表明，当五棱铝柱温度从330 ℃降至20 ℃时，铝柱外侧表面高度变化与有限元软件仿真结果基本一致，且所提方法测量得到的高度变化偏差值均小于镜面喷涂散斑的方法。可见，所提方法避免了在镜面上喷涂散斑占用相机的空间分辨率，且操作简单，测量精度高，有良好的应用前景。

参考文献

[1] 潘济宇, 张水强, 苏志龙, 等. 基于数字图像相关的水下螺旋桨三维变形测量[J]. 光学学报, 2021, 41(12): 1212001.

Pan J Y, Zhang S Q, Su Z L, et al. Measuring three-dimensional deformation of underwater propellers based on digital image correlation[J]. Acta Optica Sinica, 2021, 41(12): 1212001.

[2] 韩伟, 吴丹. 光学显微镜图像恢复及在数字图像相关方法应变测量中的应用[J]. 激光与光电子学进展, 2023, 60(14): 1410004.

Han W, Wu D. Optical microscopy image restoration and its application in strain measurements using the digital image correlation method[J]. Laser & Optoelectronics Progress, 2023, 60(14): 1410004.

[3] Hu P Y, Yang S M, Zheng F H, et al. Accurate and dynamic 3D shape measurement with digital image correlation-assisted phase shifting[J]. Measurement Science and Technology, 2021, 32(7): 075204.

[4] Srivastava V, Baqersad J. An optical-based technique to obtain operating deflection shapes of structures with complex geometries[J]. Mechanical Systems and Signal Processing, 2019, 128: 69-81.

[5] Gao Z R, Su Y, Zhang Q C. Single-event-camera-based 3D trajectory measurement method for high-speed moving targets[J]. Chinese Optics Letters, 2022, 20(6): 061101.

[6] Li Y R, Zhao D, Ma X Y, et al. Panoramic digital image correlation for 360-deg full-field displacement measurement[J]. Applied Sciences, 2023, 13(3): 2019.

[7] Xia S, Gdoutou A, Ravichandran G. Diffraction assisted image correlation: a novel method for measuring three-dimensional deformation using two-dimensional digital image correlation[J]. Experimental Mechanics, 2013, 53(5): 755-765.

[8] Wu R, Zhang D S, Yu Q F, et al. Health monitoring of wind turbine blades in operation using three-dimensional digital image correlation[J]. Mechanical Systems and Signal Processing, 2019, 130: 470-483.

[9] Ye M T, Liang J, Li L G, et al. Simultaneous measurement of external and internal surface shape and deformation based on photogrammetry and stereo-DIC[J]. Optics and Lasers in Engineering, 2022, 158: 107179.

[10] Xie R L, Chen B, Pan B. Mirror-assisted multi-view high-speed digital image correlation for dual-surface dynamic deformation measurement[J]. Science China Technological Sciences, 2023, 66(3): 807-820.

[11] Pankow M, Justusson B, Waas A M. Three-dimensional digital image correlation technique using single high-speed camera for measuring large out-of-plane displacements at high framing rates[J]. Applied Optics, 2010, 49(17): 3418-3427.

[12] Chen Y X, Wang B, Li Q W, et al. Field-of-view-enlarged single-camera 3-D shape reconstruction[J]. IEEE Transactions on Instrumentation and Measurement, 2022, 71: 5009212.

[13] Orteu J J, Bugarin F, Harvent J, et al. Multiple-camera instrumentation of a single point incremental forming process pilot for shape and 3D displacement measurements: methodology and results[J]. Experimental Mechanics, 2011, 51(4): 625-639.

[14] Li J R, Xie X, Yang G B, et al. Whole-field thickness strain measurement using multiple camera digital image correlation system[J]. Optics and Lasers in Engineering, 2017, 90: 19-25.

[15] Chen F X, Chen X, Xie X, et al. Full-field 3D measurement using multi-camera digital image correlation system[J]. Optics and Lasers in Engineering, 2013, 51(9): 1044-1052.

[16] Solav D, Moerman K M, Jaeger A M, et al. A framework for measuring the time-varying shape and full-field deformation of residual limbs using 3-D digital image correlation[J]. IEEE Transactions on Bio-Medical Engineering, 2019, 66(10): 2740-2752.

[17] Yu L P, Pan B. Single-camera stereo-digital image correlation with a four-mirror adapter: optimized design and validation[J]. Optics and Lasers in Engineering, 2016, 87: 120-128.

[18] 葛朋祥, 王欢庆, 朱奕磊, 等. 基于平面镜成像的单相机数字图像相关三维全景测量[J]. 中国激光, 2022, 49(9): 0904004.

Ge P X, Wang H Q, Zhu Y L, et al. Single-camera digital-image correlation three-dimensional panoramic measurement using reflector imaging[J]. Chinese Journal of Lasers, 2022, 49(9): 0904004.

[19] Wang Y H, Dan X Z, Li J R, et al. Multi-perspective digital image correlation method using a single color camera[J]. Science China Technological Sciences, 2018, 61(1): 61-67.

[20] Chen B, Zhao J, Pan B. Mirror-assisted multi-view digital image correlation with improved spatial resolution[J]. Experimental Mechanics, 2020, 60(3): 283-293.

[21] Chen B, Genovese K, Pan B. In vivo panoramic human skin shape and deformation measurement using mirror-assisted multi-view digital image correlation[J]. Journal of the Mechanical Behavior of Biomedical Materials, 2020, 110: 103936.

[22] Chen B, Pan B. Mirror-assisted panoramic-digital image correlation for full-surface 360-deg deformation measurement[J]. Measurement, 2019, 132: 350-358.

[23] 李桂华, 李涛, 孙卫庆, 等. 基于双平面镜双相机组合测量全场变形的方法[J]. 光学学报, 2023, 43(2): 0212007.

Li G H, Li T, Sun W Q, et al. Method for measuring full-field deformation based on double-sided mirror and dual-camera combination[J]. Acta Optica Sinica, 2023, 43(2): 0212007.

[24] Li Y, Fu Y J, Zhong K J, et al. A virtual binocular line-structured light measurement method based on a plane mirror[J]. Optics Communications, 2022, 510: 127974.

[25] Shao X X, Qu J Y, Chen W W. Single-camera three-dimensional digital image correlation with enhanced accuracy based on four-view imaging[J]. Materials, 2023, 16(7): 2726.

[26] Wu L F, Zhu J G, Xie H M. Single-lens 3D digital image correlation system based on a bilateral telecentric lens and a bi-prism: validation and application[J]. Applied Optics, 2015, 54(26): 7842-7850.

[27] 徐巧玉, 姚怀, 齐鑫, 等. 基于公垂线约束的立体视觉建模方法[J]. 仪器仪表学报, 2008, 29(11): 2430-2434.

Xu Q Y, Yao H, Qi X, et al. Stereo vision reconstruction method based on common perpendicular constraint[J]. Chinese Journal of Scientific Instrument, 2008, 29(11): 2430-2434.

[28] 李世林, 戴松新, 胡中文, 等. 基于亚像素图像拼接的透明元件视觉测量方法[J]. 激光与光电子学进展, 2023, 60(6): 0615004.

Li S L, Dai S X, Hu Z W, et al. Visual measurement method for transparent elements based on sub-pixel image mosaics[J]. Laser & Optoelectronics Progress, 2023, 60(6): 0615004.

[29] Su Y, Zhang Q C, Xu X H, et al. Interpolation bias for the inverse compositional Gauss-Newton algorithm in digital image correlation[J]. Optics and Lasers in Engineering, 2018, 100: 267-278.

李桂华, 王紫威, 孙卫庆, 葛朋祥, 王浩宇, 张梅. 双平面镜双相机数字图像相关技术在三维重建中的应用[J]. 光学学报, 2024, 44(8): 0812003. Guihua Li, Ziwei Wang, Weiqing Sun, Pengxiang Ge, Haoyu Wang, Mei Zhang. Application of Dual Plane-Mirror Dual-Camera Digital Image Correlation Technology in Three-Dimensional Reconstruction[J]. Acta Optica Sinica, 2024, 44(8): 0812003.