基于光线追迹法的非均匀温度场视觉测量畸变校正

吴军; 祝玉恒; 袁少博; 刘少禹; 张美妙

doi:doi:10.3788/LOP213028

激光与光电子学进展, 2023, 60 (1): 0108001, 网络出版: 2022-12-09

基于光线追迹法的非均匀温度场视觉测量畸变校正下载： 741次

Distortion Correction of Visual Measurement in Inhomogeneous Temperature Field Based on Ray Tracing Method

论文大纲

吴军 ^1,2,*祝玉恒 ¹袁少博 ¹刘少禹 ¹张美妙 ¹

作者单位

¹ 中国民航大学航空工程学院，天津 300300

² 天津大学精密测试技术及仪器国家重点实验室，天津 300072

几何光学视觉测量图像畸变光线追迹龙格-库塔法误差校正 geometric optics visual measurement image distortion ray tracing Runge-Kutta method error correction

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了解决视觉测量在非均匀折射率环境中应用时出现的成像畸变问题，建立了在非均匀温度场中形成的非均匀折射率场，研究了光线在该折射率场中的轨迹并根据轨迹偏差修正了图像畸变。利用背景纹影法重构了由非均匀温度场产生的空间折射率场，将空间点发出的光抽象为光线，根据龙格-库塔法修正非均匀折射率场中的光线轨迹并校正图像畸变。利用PnP（pespective-n-point）算法和校正前后图像中同一点的像素坐标解算该点的世界坐标。实验结果表明，该方法能有效降低测量误差，修正被测图像的畸变。

Abstract

In this study, to address the issue of imaging distortion that occurs when visual measurements are applied in inhomogeneous refractive index environments, an inhomogeneous refractive index field produced in the inhomogeneous temperature field is developed, and the trajectory of light in the refractive index field is investigated, and the image distortion is corrected according to the trajectory's deviation. The spatial refractive index field produced using the nonuniform temperature field is reconstructed using the background schlieren method. The light emitted by the spatial point is abstracted as light rays and reproduces the light in the inhomogeneous temperature gradient environment according to the Runge-Kutta method. The world coordinates of the point are computed based on the PnP (perspective-n-point) algorithm and the pixel coordinates of the same point in the image before and after correction. Experimental findings demonstrate that the method can efficiently decrease the measurement error and correct the measured image's distortion.

1　引言

视觉测量方法是基于光学、电子学的一种重要测量方法，具有非接触、精度高、适应性好、实时性强等显著优势，是工业领域中常用的测量方法。但视觉测量原理基于光的直线传播^［1］，只有光线在均匀介质中传播时才适用，不适用于折射率不均匀环境中的测量，如大型高温锻件的尺寸测量^［2］、高温风洞的视觉测量、航空发动机尾喷场的测量^［3］中空气折射率受到非均匀温度场的影响，原始图像产生畸变，导致了较大的测量误差^［4］。因此，需要先重构非均匀温度场产生的非均匀折射率场，以研究光线在非均匀折射率场中的传播规律，然后对图像误差进行合理补偿，降低测量误差。在现代制造技术的飞速发展过程中，视觉测量在高温环境下的应用场景逐渐增多，由温度造成折射率分布不均匀引入的测量误差补偿方法也成为一个热点问题^［5-6］。代旭存等^［7］研究了不同气压、温度、波长等因素对大气折射率的影响，但研究的温度梯度范围较小，也没有指出如何补偿测量中产生的误差。武宇翔等^［8］提出了一种利用实时温度、大气压强和相对湿度等数据对大气折射模型进行修正的方法，但该方法不适用于小尺度以及温度梯度变化大的场合。王亮^［2］提出了一种大型锻件在线视觉测量图像匹配方法，但该方法需要的实验设备较多且数据处理过程复杂。

本文基于背景纹影法重构出由非均匀温度场产生的非均匀折射率场，在非均匀折射率场已知的情况下，使用龙格-库塔法计算光线经该折射率场产生的畸变，并对拍摄的图像进行修正，最后通过数据分析验证了该方法的可行性。

2　空间折射率场的重构

2.1　光线偏折角的测量

带有斑点的背景板发射的光线穿过被测流场被相机接收，由于温度场内的折射率不均匀，光线通过流场时发生偏折，如图1所示。其中： $f$ 为相机焦距； $M$ 为相机镜头到温度场中心的距离； $L$ 为温度场中心到背景板的距离；虚线为没有温度场时的光线轨迹；实线为受温度场影响时光线的实际轨迹； $Δ H$ 为受温度场影响的背景板中同一个斑点在图像上的偏移量。迭代窗口尺寸依据背景板上斑点的疏密程度确定，将受温度场影响前后的图像划分成合适大小且一一对应的网格，以分析其互相关程度。提取互相关程度最大值对应的偏移量，就能得到所有斑点发生的偏移 $Δ H$ ，进而得到所有光线从背景经过温度场到相机过程的偏移情况^［9］。

图 1. 背景纹影实验的原理图

Fig. 1. Schematic diagram of the background schlieren experiment

下载图片查看所有图片

假定记录的光线与光轴非常接近，即偏折角 $θ$ 很小，则偏折角在x轴的分量可表示为

θ_{x} = Δ H_{x}^{'} / L

，（1）

式中， $Δ H_{x}^{'}$ 为相机分辨率和斑点在x方向像素位移 $Δ H_{x}$ 的乘积。光线偏折角也可表示为

θ_{x} = \frac{1}{n} \int_{X_{r a y}} \frac{δ n}{δ x} d z

，（2）

式中， $X_{r a y}$ 为光线传播的路径。某一方向的偏折角是折射率在该方向梯度沿光程的积分，即偏折角是折射率梯度场的Radon变换。折射率梯度场可通过Radon逆变换重建，对于中心对称的折射率场，可以使用逆Abel转换进行重建。

2.2　折射率场的重建

假设导致折射率分布不均匀的温度场为轴对称分布，光线穿过该温度场的情形如图2所示。通过2.1节中的方法获得散斑位移数据后，可以对任意高度的切面进行重建，无需考虑光线在高度方向的偏移，将水平方向的位移量代入式（1）就能得到所需切面的偏折角^［10］。已知偏折角数据后，对式（2）进行Abel逆变换就能得到折射率场的径向分布，可表示为

图 2. 光线穿过轴对称温度场的情形

Fig. 2. Case of light passing through an axisymmetric temperature field

下载图片查看所有图片

n (r) = - \frac{1}{π} \int_{r}^{R} θ (x) \frac{d x}{\sqrt[]{x^{2} - r^{2}}}

，（3）

式中： $n (r)$ 为折射率关于半径 $r$ 的函数； $R$ 为轴对称温度场的半径； $θ (x)$ 为光线偏折角关于x的函数。

得到某高度截面的径向折射率后，将该截面假设为一个圆面，可以得到圆面内任意一点的折射率。当径向折射率不再变化且接近于环境折射率时，认为此处为折射率场的边界。根据大气折射率与大气温度之间的关系计算当地的环境折射率。大气折射率 $n (T)$ 与大气温度 $T$ 的关系可表示为

n (T) = 1 + 0.0797663 / T

。（4）

3　龙格-库塔法的原理

图3为基于龙格-库塔法的光线追迹原理图。其中： $r$ 为光线在某时刻的矢径； $α 、 β 、 γ$ 分别为该矢径与x、y、z轴的夹角。

图 3. 基于龙格-库塔法的光线追迹原理

Fig. 3. Principle of ray tracing based on Runge-Kutta method

下载图片查看所有图片

光线在折射率场中传播的轨迹方程可表示为

\{\begin{array}{l} \frac{\partial n}{\partial x} - \frac{d}{d s} [n (x, y, z) \frac{d x}{d s}] = 0 \\ \frac{\partial n}{\partial y} - \frac{d}{d s} [n (x, y, z) \frac{d y}{d s}] = 0 \\ \frac{\partial n}{\partial z} - \frac{d}{d s} [n (x, y, z) \frac{d z}{d s}] = 0 \end{array}

，（5）

式中，s为曲线的弧长。式（5）的矢量形式为

\frac{d}{d s} [n (x, y, z) \frac{d r}{d s}] = \nabla n (x, y, z)

，（6）

矢径 $r$ 可表示为

r = i x + j y + k z

，（7）

\nabla n (x, y, z) = i \frac{\partial n}{\partial x} + j \frac{\partial n}{\partial y} + k \frac{\partial n}{\partial z}

。（8）

式（6）描述了梯度折射率介质中光线的传输方程，但该方程不是标准的微分方程。因此，定义新变量

t = \int \frac{d s}{n (x, y, z)}

，（9）

d s = n (x, y, z) d t

，（10）

将式（10）代入式（6），得到

\frac{d^{2} r}{d t^{2}} = n (x, y, z) \nabla n (x, y, z) = \frac{1}{2} \nabla n {(x, y, z)}^{2}

。（11）

引入位置矩阵 $R$ 和射线矢量 $T$

R = [\begin{array}{l} x \\ y \\ z \end{array}]

，（12）

T = \frac{d r}{d t} = n (r) \frac{d r}{d s} = n (r) [\begin{array}{l} c o s α \\ c o s β \\ c o s γ \end{array}]

，（13）

定义矩阵

D = n (r) \nabla n (r) = \frac{1}{2} \nabla n {(r)}^{2} = \frac{1}{2} [\begin{matrix} \frac{\partial n^{2}}{\partial x} \\ \begin{array}{l} \frac{\partial n^{2}}{\partial y} \\ \frac{\partial n^{2}}{\partial z} \end{array} \end{matrix}]

，（14）

合并式（12）~式（14），得到

T^{'} = D (r)

，（15）

根据龙格-库塔公式得到

\{\begin{array}{l} K_{1} = Δ t D (R_{n}) \\ K_{2} = Δ t D (R_{n} + \frac{Δ t}{2} T_{n} + \frac{Δ t}{8} K_{1}) \\ K_{3} = Δ t D (R_{n} + \frac{Δ t}{2} T_{n} + \frac{Δ t}{2} K_{2}) \\ K_{4} = Δ t D (R_{n} + \frac{Δ t}{2} T_{n} + \frac{Δ t}{2} K_{3}) \\ R_{n + 1} = R_{n} + \frac{Δ t}{6} (6 T_{n} + K_{1} + 2 K_{2} + 2 K_{3}) \\ T_{n + 1} = T_{n} + \frac{1}{6} (K_{1} + 4 K_{2} + K_{3} + K_{4}) \end{array}

，（16）

式中， $Δ t$ 为步长。借助于龙格-库塔方法计算出光线的坐标和方向，通过多次迭代得到光线传输过程中的多个坐标点。该方法不需要考虑光线在每个折射率梯度边界中的方向和位置，连接坐标点就可以很容易地获得光线在梯度折射率介质中的传播轨迹。

4　实验验证

4.1　折射率场的重建

实验使用的工业相机有效像素有500万个，镜头焦距为16 mm，背景点为Matlab软件生成的随机点。背景板与酒精喷灯之间的距离L=850 mm，酒精喷灯与相机之间的距离M=290 mm。当地气温为29 ℃，环境折射率为1.000263。当酒精喷灯附近的折射率与环境折射率相同时，就可认为达非均匀折射率场的边界处。实验系统如图4所示。

图 4. 建立折射率场的实验装置

Fig. 4. Experimental device for establishing refractive index field

下载图片查看所有图片

首先用粒子图像分析软件Pivlab处理受火焰影响的背景纹影图像，分析有温度场与无温度场时背景板上所有斑点的像素偏移量，如图5所示。最终选择的迭代窗口尺寸为16 pixel×16 pixel，叠搭区域尺寸为8 pixel×8 pixel^［11］。图6为图像处理的结果。其中，箭头长度表示偏移量的大小。根据图像处理结果重建出的折射率场如图7所示。

图 5. 背景纹影成像示意图。（a）原始图像；（b）受火焰影响的图像

Fig. 5. Schematic diagram of background schlieren imaging. (a) Original image; (b) image affected by flame

下载图片查看所有图片

图 6. 粒子偏移图像的处理结果

Fig. 6. Processing results of particle migration images

下载图片查看所有图片

图 7. 折射率场的分布

Fig. 7. Distribution of refractive index field

下载图片查看所有图片

4.2　基于光线追迹法的成像畸变校正

利用龙格-库塔法还原光线在温度场的传播光路以实现对成像光线偏差的测量。先用角点检测算法检测棋盘格上的点在有温度场情况下产生的畸变并将其消除，验证折射率场的准确性。实验原理如图8所示，测量得到的数据如表1所示。

图 8. 棋盘格校正实验的原理图

Fig. 8. Schematic diagram of checkerboard correction experiment

下载图片查看所有图片

表 1. 棋盘格角点的畸变与校正

Table 1. Distortion and correction of checkerboard corners

Incidentlight	Testeddistortion	Actual distortion	Corrected distortion
1	0.420	0.290	0.130
2	0.239	0.188	0.051
3	0.152	0.132	0.020
4	0.253	0.190	0.063
5	0.098	0.112	－0.014
6	0.053	0.070	－0.017
7	0.168	0.113	0.055
8	0.059	0.085	－0.026
9	0.054	0.028	0.026

查看所有表

用PnP（Pespective-n-Point）算法解算校正后的点在相机坐标系下的坐标并将其与真实坐标进行对比，以验证畸变校正的可靠性。实验系统如图9所示。

图 9. 校正成像畸变的实验系统

Fig. 9. Experimental system for correcting imaging distortion

下载图片查看所有图片

利用影像仪（德卡精密测量仪有限公司生产，型号为SMV-1010）标定光笔上5个白点的相对位置，该影像仪的精度可达0.002 mm，以其中1个点作为坐标原点建立世界坐标系，计算出其余4个点的坐标值。影像仪标定白点相对位置的过程如图10所示。标定后光笔白点中心位置的坐标如图11所示。其中，z轴方向垂直于纸面向外。

图 10. 影像仪的标定过程

Fig. 10. Calibration process of the imager

下载图片查看所有图片

图 11. 5个白点中心的坐标

Fig. 11. Coordinates of 5 white point centers

下载图片查看所有图片

首先将光笔固定在三维（3D）精密电动平移台上，平移台的精度为0.01 mm，在无温度场情况下先拍摄1张图像，添加温度场后再次拍摄1张图像，然后将光笔向右平移20 mm。重复该操作6次，即光笔共向右平移了120 mm，得到7组图像，分别提取出图像中白点中心的像素坐标，提取效果如图12所示。

图 12. 白点中心的提取结果

Fig. 12. Extraction result of white point center

下载图片查看所有图片

利用棋盘格标定法解算出该相机的内参矩阵，可表示为

P = [\begin{matrix} 4743.39 & 0 & 1245.82 \\ 0 & 4743.06 & 1033.12 \\ 0 & 0 & 1 \end{matrix}]

。（17）

在光笔未移动时，5个白点中心的像素坐标分别为（1391.06，1221.36）、（1188.22，931.52）、（1016.93，680.09）、（1735.51，1238.98）、（1902.10，977.58）。在已知相机内参、光笔上5个点的像素坐标及其实际位置时可利用PnP算法解算出光笔上任意一点在相机坐标系下的坐标。用未受温度场影响图像上点的像素坐标解算出该点在相机坐标系下的坐标作为真值，用受到温度场影响图像上点的像素坐标解算出该点在相机坐标系下的坐标作为畸变值，然后利用龙格-库塔法计算像素偏移量以修正畸变点的坐标。将光笔每次偏移20 mm，重复上述操作共得到7组数据，将修正前后像素点的畸变值分别与真值做差，得到的结果如图13所示。可以发现，用校正后图像计算的物理坐标与真值的差明显减小，但依然存在部分偏差，且不同点的效果不同，如某些点发出的光线通过火焰中心位置产生的畸变量较小，校正效果不明显。此外，实验中还存在随机误差，如建立折射率场模型时采集数据以及拟合数据存在的误差、龙格-库塔法存在的误差、用相机进行中心点检测时存在的误差。这些误差在畸变较小时有可能产生过度校正，但误差在可接受范围内。

图 13. 校正前后的畸变曲线

Fig. 13. Distortion curves before and after correction

下载图片查看所有图片

5　结论

提出了一种采用龙格-库塔法的视觉测量图像畸变的校正方法。该方法利用背景纹影法原理建立非均匀温度场形成的非均匀折射率场，借助于龙格-库塔法计算出光线的坐标和方向，连接坐标点得到光线在非均匀折射率场中的轨迹。将该轨迹与未受温度场影响的光线轨迹进行对比，得到成像畸变误差。最后利用PnP算法得到畸变位移并修正图像以降低测量误差。实验结果表明，该方法能在一定程度上降低由温度场造成的图像畸变，减小测量误差。

参考文献

[1] 邾继贵, 于之靖. 视觉测量原理与方法[M]. 北京: 机械工业出版社, 2012.

ZhuJ G, YuZ J. Principle of vision metrology[M]. Beijing: China Machine Press, 2012.

[2] 王亮. 大锻件视觉测量的信息抑噪和特征匹配方法[D]. 大连: 大连理工大学, 2016: 1-11.

WangL. The image noise suppression method and feature matching method for large forgings based on machine vision[D]. Dalian: Dalian University of Technology, 2016: 1-11.

[3] 于之靖, 李雁玲, 郑建文, 等. 采用纹影法的微型航空发动机尾喷温度场测量方法[J]. 光学技术, 2020, 46(4): 420-426.

Yu Z J, Li Y L, Zheng J W, et al. The temperature field measurement method by using schlieren method for micro aero-engine[J]. Optical Technique, 2020, 46(4): 420-426.

[4] 黄战华, 陈嘉佳, 蔡怀宇. 热扰动下成像变形与复原研究[J]. 科学技术与工程, 2007, 7(20): 5339-5341, 5344.

Huang Z H, Chen J J, Cai H Y. Study on distortion and recovery of imaging in a thermal disturbance field[J]. Science Technology and Engineering, 2007, 7(20): 5339-5341, 5344.

[5] 陈嘉佳. 热源辐射下空气介质成像的变化与补偿研究[D]. 天津: 天津大学, 2007.

ChenJ J. Study on variation and recovery of optical imaging through air medium in a thermal radiation field[D]. Tianjin: Tianjin University, 2007.

[6] 孙刚, 翁宁泉, 肖黎明, 等. 大气温度分布特性及对折射率结构常数的影响[J]. 光学学报, 2004, 24(5): 592-596.

Sun G, Weng N Q, Xiao L M, et al. Profile and character of atmospheric temperature[J]. Acta Optica Sinica, 2004, 24(5): 592-596.

[7] 代绪存, 郭中华. 利用光速测定仪分析空气折射率的影响因素[J]. 物理通报, 2020(8): 85-88, 93.

Dai X C, Guo Z H. Using light velocity apparatus to measuring the influence factors of air refractive index[J]. Physics Bulletin, 2020(8): 85-88, 93.

[8] 武宇翔, 张洪波, 孔德庆, 等. 基于实时参数的大气折射模型和射电望远镜指向修正方法[J]. 光子学报, 2019, 48(8): 0811001.

Wu Y X, Zhang H B, Kong D Q, et al. Astronomical refraction model based on real-time parameters and research of radio telescope pointing calibration method[J]. Acta Photonica Sinica, 2019, 48(8): 0811001.

[9] 周昊, 吕小亮, 李清毅, 等. 应用背景纹影技术的温度场测量[J]. 中国电机工程学报, 2011, 31(5): 63-67.

Zhou H, Lü X L, Li Q Y, et al. Temperature measurements using the background oriented schlieren technique[J]. Proceedings of the CSEE, 2011, 31(5): 63-67.

[10] 胡锐. 基于纹影法的温度场分布测量技术研究[D]. 西安: 西安工业大学, 2018: 10-13.

HuR. Research on measurement of temperature field distribution based on schlieren method[D]. Xi’an: Xi’an Technological University, 2018: 10-13.

[11] 吴军, 徐海涛, 王志军, 等. 运用光线追迹算法的非均匀温度梯度成像畸变校正[J]. 机械科学与技术, 2019, 38(11): 1784-1789.

Wu J, Xu H T, Wang Z J, et al. Nonuniform temperature gradient imaging distortion correction using light ray tracing method[J]. Mechanical Science and Technology for Aerospace Engineering, 2019, 38(11): 1784-1789.

吴军, 祝玉恒, 袁少博, 刘少禹, 张美妙. 基于光线追迹法的非均匀温度场视觉测量畸变校正[J]. 激光与光电子学进展, 2023, 60(1): 0108001. Jun Wu, Yuheng Zhu, Shaobo Yuan, Shaoyu Liu, Meimiao Zhang. Distortion Correction of Visual Measurement in Inhomogeneous Temperature Field Based on Ray Tracing Method[J]. Laser & Optoelectronics Progress, 2023, 60(1): 0108001.

基于光线追迹法的非均匀温度场视觉测量畸变校正 下载： 741次

1 引言

2 空间折射率场的重构

2.1 光线偏折角的测量

图 1. 背景纹影实验的原理图

Fig. 1. Schematic diagram of the background schlieren experiment

2.2 折射率场的重建

图 2. 光线穿过轴对称温度场的情形

Fig. 2. Case of light passing through an axisymmetric temperature field

3 龙格-库塔法的原理

图 3. 基于龙格-库塔法的光线追迹原理

Fig. 3. Principle of ray tracing based on Runge-Kutta method

4 实验验证

4.1 折射率场的重建

图 4. 建立折射率场的实验装置

Fig. 4. Experimental device for establishing refractive index field

图 5. 背景纹影成像示意图。（a）原始图像；（b）受火焰影响的图像

Fig. 5. Schematic diagram of background schlieren imaging. (a) Original image; (b) image affected by flame

图 6. 粒子偏移图像的处理结果

Fig. 6. Processing results of particle migration images

图 7. 折射率场的分布

Fig. 7. Distribution of refractive index field

4.2 基于光线追迹法的成像畸变校正

图 8. 棋盘格校正实验的原理图

Fig. 8. Schematic diagram of checkerboard correction experiment

表 1. 棋盘格角点的畸变与校正

Table 1. Distortion and correction of checkerboard corners

图 9. 校正成像畸变的实验系统

Fig. 9. Experimental system for correcting imaging distortion

图 10. 影像仪的标定过程

Fig. 10. Calibration process of the imager

图 11. 5个白点中心的坐标

Fig. 11. Coordinates of 5 white point centers

图 12. 白点中心的提取结果

Fig. 12. Extraction result of white point center

图 13. 校正前后的畸变曲线

Fig. 13. Distortion curves before and after correction

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于光线追迹法的非均匀温度场视觉测量畸变校正下载： 741次

1　引言

2　空间折射率场的重构

2.1　光线偏折角的测量

2.2　折射率场的重建

3　龙格-库塔法的原理

4　实验验证

4.1　折射率场的重建

4.2　基于光线追迹法的成像畸变校正

5　结论