单目视觉测量球体颗粒位姿

为实现对流化床中目标颗粒空间位姿追踪测量，开发了一种基于单目视觉及彩色纹理编码球体的位姿测量系统。针对空间位置定位，建立了空间球体成像模型，并基于小孔平面成像模型及相机坐标转换模型，结合空间解析几何相关理论，分析了单目位置测量原理。考虑球体颗粒无法通过自身形状特征实现空间姿态测量，引入纹理特征，通过提取目标颗粒纹理，比较并建立其与合成库中已知方向图像之间的相似关系，实现空间姿态的测量。根据以上理论分析，搭建实验系统并进行了一系列实验。结果表明，位置测量综合误差率不大于0.5%，姿态测量误差不大于2°，验证了所提模型的有效性和可行性。

Abstract

In order to realize the spatial pose tracking measurement of target particles in a fluidized bed, a pose measurement system based on monocular vision and color texture-coded spheres is developed. For spatial position positioning, a spatial sphere imaging model is established, and based on the pinhole plane imaging model and camera coordinate transformation model, combined with the related theory of spatial analytic geometry, the principle of monocular position measurement is analyzed. Considering that spherical particles cannot measure spatial attitude through their own shape features, the texture feature is introduced, and the measurement of spatial attitude is realized by extracting the texture of the target particle, comparing and establishing its similarity with the known direction image in the synthetic library. According to the above theoretical analysis, an experimental system is built and a series of experiments are carried out. The results show that the comprehensive error rate of position measurement is not more than 0.5%, and the error of attitude measurement is not more than 2°, which verifies the effectiveness and feasibility of the proposed model.

1　引言

流化床技术被广泛应用于化工、制药和食品等领域，其相关研究有助于流化床设备设计及工作参数设定。其中，跟踪人为投放的特定示踪颗粒运动是流化床中流体状态研究至关重要的手段^［1］，球体颗粒以其特殊的形状和优良的流动性，被众多学者视作理想的示踪颗粒。视觉测量技术是应用计算机视觉进行物体尺寸及运动参数测量研究的一门技术^［2-3］，得益于其高精度、非接触、高效率等优点，近几年在颗粒运动测量领域得到了广泛的研究和迅速的发展。

科研人员对球体颗粒运动状态的视觉测量方法进行了深入的研究。肖大伟等^［4］在克服光轴偏差的同时，对非平面目标物体进行了距离测量；刘书桂等^［5-6］研究了球心透视投影点与其成像中心之间的关系，实现了高精度二维定位。但上述方法均无法实现基于单目视觉系统的空间三维定位，且由于球体颗粒的特殊性，单目或双目系统均无法通过颗粒自身形状特征对其旋转进行测量。

针对旋转测量，Bellani等^［7］将系列微小颗粒充入水凝胶珠中，通过立体粒子图像测速法计算示踪颗粒的速度，并根据示踪颗粒的相对位移，使用固体动力学方程计算球体角速度分量，进而实现水凝胶珠的旋转测量。Barros等^［8］在此基础上将应用对象扩展到非透明球体，但此系列方法无法直接测量颗粒旋转，且需使用平行放置的两相机进行目标追踪。Zimmermann等^［9］在球体颗粒表面打印上特定图案，并用正交相机进行捕捉，通过与合成投影库进行比较，实现了湍流中粒子的绝对方向测量。Mathai等^［10-12］在此基础上进行了系列研究，获得了较好的实验效果。上述方法均采用双目视觉系统，使用该系统可同时获取更多有效图像信息，但是算法复杂且需要严苛的工作环境。

综上所述，本文通过分析空间球体成像规律与空间三角相似原理，对空间点与成像点关系进行推导，实现空间三维位置反演。在单目获取信息有限的情况下，对球体表面进行彩色纹理编码设计，提出球体颗粒纹理提取方法，并设计了基于分步匹配算法的空间姿态直接测量关键算法。实验结果表明，该算法可对球体位姿实现高精度测量。

2　单目位置测量原理

利用小孔平面成像模型描述空间点与图像点的关系，像素坐标 $(u, v)$ 与世界坐标 $(X_{W}, Y_{W}, Z_{W})$ 对应关系^［4］如下：

s [\begin{matrix} u \\ v \\ 1 \end{matrix}] = A M [\begin{matrix} X_{W} \\ Y_{W} \\ Z_{W} \\ 1 \end{matrix}]

，（1）

式中：比例因子 $s = Z_{c}$ ； $A$ 为3×3的相机内参矩阵； $M$ 为3×4的相机外参矩阵。

标定相机可得内外参矩阵，通过世界坐标系中坐标 $(X_{W}, Y_{W}, Z_{W})$ 可以确定唯一成像点 $(u, v)$ ，但仅从像素平面坐标 $(u, v)$ 无法反演唯一的世界坐标 $(X_{W}, Y_{W}, Z_{W})$ 。因此引入空间三角相似性，针对立体目标“球体”成像规律，小孔平面成像模型如图1所示^［13-15］。

图 1. 球体平面成像图

Fig. 1. Sphere plane imaging

下载图片查看所有图片

球体成像为由一个长轴位于坐标轴的椭圆绕原点旋转得到的特征椭圆，该特征椭圆长半轴为 $a$ ，短半轴为 $b$ ，偏心距 $|O_{U} O_{2}|$ 为 $d$ ，特征椭圆长轴与像素坐标轴 $X_{U}$ 夹角为 $β$ ，则特征椭圆方程以及原点 $O_{U}$ 到 $O_{1}$ 的距离 $l$ ^［4］可分别表示为

\frac{{(x c o s β + y s i n β - d)}^{2}}{a^{2}} + \frac{{(y c o s β - x s i n β)}^{2}}{b^{2}} = 1

，（2）

l = f t a n [\frac{1}{2} (a r c t a n \frac{d + a}{f} + a r c t a n \frac{d - a}{f})]

。（3）

直角三角形 $Δ O O_{U} O_{1}$ 中， ${|O O_{1}|}^{2} = {|O O_{U}|}^{2} + {|O_{U} O_{1}|}^{2}$ ，相机光心 $O$ 与球心实际成像点 $O_{1}$ 之间的距离 $|O O_{1}|$ ，称之为形式焦距。则形式焦距可由直角三角形 $Δ O O_{U} O_{1}$ 计算得到：

|O O_{1}| = \sqrt[]{l^{2} + f^{2}}

。（4）

将特征椭圆经平移旋转成焦点在 $X_{U}$ 上的常规椭圆，将椭圆中心偏移量 $|O_{1} O_{2}| = d - l$ 代入常规椭圆公式，则可求得成像平面上过球心实际成像点 $O_{1}$ 的视锥截面圆直径 $|C D|$ ：

|C D| = \frac{2 b}{a} \sqrt[]{a^{2} - {(d - l)}^{2}}

。（5）

将相机光心 $O$ 与球心 $O_{1}$ 的距离 $|O O_{1}|$ 记为 $L$ ，球体半径为 $r$ ，则 $|O S_{0}|$ 与 $|E F|$ 可由三角形 $Δ O O_{0} E$ 与三角形 $Δ E S_{0} O_{0}$ 相似推得：

|O S_{0}| = L - \frac{r^{2}}{L}

，（6）

|E F| = 2 r \sqrt[]{1 - \frac{r^{2}}{L^{2}}}

。（7）

由成像原理以及空间三角相似可知：

\frac{|O S_{0}|}{|O O_{1}|} = \frac{|E F|}{|C D|}

。（8）

将式（4）~（7）代入式（8）中，即可得相机光心 $O$ 与球心 $O_{0}$ 的距离 $L$ ，则球心 $O_{0}$ 在相机坐标系中的 $Z$ 轴坐标 $Z_{c}$ 可由直角三角形 $Δ O O_{U} O_{1}$ 与直角三角形 $Δ O G O_{0}$ 相似得到：

Z_{c} = L \frac{f}{\sqrt[]{f^{2} + l^{2}}}

。（9）

结合式（1）与式（9）即可得最终空间反演公式：

[\begin{matrix} X_{W} \\ Y_{W} \\ Z_{W} \\ 1 \end{matrix}] = M^{- 1} A^{- 1} Z_{c} [\begin{matrix} x_{p} \\ y_{p} \\ 1 \end{matrix}]

，（10）

式中： $x_{p}$ 与 $y_{p}$ 为 $O_{1}$ 的成像像素坐标，且 $x_{p} = l c o s β$ 、 $y_{p} = l s i n β$ 。

3　单目姿态测量原理及算法

考虑球体本身无法通过形状特征进行姿态测量，将对象设计为纹理球体，通过与计算机生成的合成图像样本库进行比较，将传统姿态测量转化为图像匹配问题，并通过联合特征提取与分步匹配策略保证精度与运行效率。

3.1　合成图像样本库

首先，对球体纹理进行设计，纹理设计需保证相邻候选图像拥有一定差异性，并满足后续匹配要求。针对此要求，基于VTK开源库，在场景中构建仿真球体，并利用VTK接入的OpenGL对球体进行纹理映射，同时在场景中接入虚拟相机进行仿真成像，利用仿真实验法对纹理进行设计测试与优化。经仿真实验，纹理设计需符合下列规律：单个视图对应唯一的方向；在每个可能视图中，深条纹与浅条纹占比大致相同；为保证成像效果，条纹间距环状占比应大于5%；在局部关键位置增加适量彩色纹理。本研究设计并使用的纹理如图2所示。

图 2. 球体纹理图。（a）主视图；（b）右视图；（c）左视图；（d）后视图

Fig. 2. Sphere texture maps. (a) Front view; (b) right view; (c) left view; (d) back view

下载图片查看所有图片

为了精确获取指定方向上的2D投影，参考球体映射规律，利用Python结合NumPy扩展实现图像合成。对设计球体纹理进行360°采样，根据分步匹配需求，生成采样间隔不同的两个样本库，分别为全局候选图像库和局部候选图像库（经测试分别选取12°与1°作为样本库采样间隔）。

3.2　纹理提取

通过对图像中球体进行感兴趣区域（ROI）提取操作获取目标颗粒，将其与目标样本库进行归一化，之后进行下列步骤实现纹理提取：

1）自适应直方图均衡，消除不均匀光照影响；

2）基于大津算法进行阈值处理，提取深色纹理，同时粒子外部像素与浅色纹理保持一致，得到纹理图像 $I$ ；

3）将图像转化到HSV域，对各分量进行限值操作实现彩色纹理（非黑白部分）提取，调整获取彩色纹理图像 $I_{c}$ 。

3.3　图像匹配

相比于传统的基于单信息的图像匹配，引入结构相似性（SSIM）指标，结合多特征分步进行基于结构特征的全局匹配和基于多特征的局部匹配，以提高准确度与效率，具体匹配原理如图3所示。

图 3. 分步匹配流程图

Fig. 3. Step-by-step matching flowchart

下载图片查看所有图片

以图像的结构为切入点，引入SSIM将图像从亮度、对比度、结构信息等3方面进行相似性量化^［16-17］。利用滑动窗口计算取平均值生成一个0~1的衡量指标，具体SSIM公式为

S_{S S I M} (x, y) = {[l (x, y)]}^{α} {[c (x, y)]}^{β} {[s (x, y)]}^{γ}

，（11）

式中： $l (x, y)$ 为平均亮度相似性； $c (x, y)$ 为对比度相似性； $s (x, y)$ 为结构相似性； $α$ 、 $β$ 、 $γ$ 一般设为1。

将全局候选图像库中所有图像与提取到的纹理图像 $I$ 利用SSIM进行比较，按相似程度进行排序，选取相似程度最高图像作为搜索起点，映射至局部候选图像库，选取一定范围进行二次搜索。

局部匹配中候选图像之间差异更小，因此对相关匹配方法进行特殊设计以提高精度，参考级联分类器匹配多种图像信息的方式，对多种特征进行连接，以实现多图像信息的优势互补。

首先衡量搜索范围内的所有局部候选图像对纹理图像 $I$ 的特征相似性，选取ORB特征与Surf特征作为相似性衡量指标，对候选图像分别按照两种特征相似性进行排序，各选取相似性较高的多幅候选图像放入备选库（有时会出现同一幅候选图像在两种特征相似性排序中均靠前的情况，则视为同一选择，不重复计入）。备选库中候选图像均与实际纹理图像有较高的相似性，为进一步提高图像匹配准确性，引入色彩信息，考虑色彩信息易受光源影响，利用HSV色彩空间，建立H分量与S分量联合直方图，改进色彩信息^［18-19］。比较备选库中所有图像与彩色纹理图像 $I_{c}$ 的色彩直方图距离，进行直方图距离排序，确定最佳候选图像，实现空间姿态测量。

4　测量实验与结果

首先对测量实验，从仿真的角度进行以下分析：随着相机参数、球体颗粒大小和空间位置的变化，颗粒在像平面成像像素大小会发生改变，而成像像素大小将影响最终测量结果。故根据仿真实验，合理选择相机相关参数、球体尺寸和空间测量区域，以保证相关测量精度。

为准确测试单目位姿测量方法的性能，分别进行模块化和整体性的验证比较实验，实验系统如图4所示。其中，相机采用大恒MER2-302-56U3C，分辨率为2048 pixel×1536 pixel，镜头为6~60 mm可变焦距镜头，测量范围根据焦距变化。目前只选取了直径为40 mm的3D打印球体作为测量对象，后期将开展其他直径球体颗粒的实验。

图 4. 实验系统装置图

Fig. 4. Experimental system setup diagram

下载图片查看所有图片

4.1　空间位置的测量

相机固定在支架上，利用Python结合OpenCV对采集的图像进行目标识别与提取。首先，对相机进行标定，得到内参矩阵 $A$ 与外参矩阵 $M$ ，将纹理球体固定在滑轨上，依次移动滑轨，使其均匀于相机视场内，记录滑轨位置 $(x_{i}, y_{i}, z_{i})$ ，同步采集颗粒图像。

提取轮廓投影，处理得到一系列点对，针对球体成像为椭圆这一特性，采用最小二乘法进行椭圆拟合，返回目标参数。

利用所提单目位置测量原理对得到的参数进行处理，最终反演得到颗粒在世界坐标系中位置，且为更好衡量空间位置测量性能，在此引入综合误差（由 $\sqrt[]{X_{W}^{2} + Y_{W}^{2} + Z_{W}^{2}}$ 计算得到）。

球体颗粒在世界坐标系的实际值、测量值以及综合误差率如表1所示。可以看出，所提方法测量得到的空间三维位置的平均定位综合误差率为0.19%，且定位综合误差率均在0.5%以内，误差率小。

表 1. 纹理球体空间位置测量分析

Table 1. Analysis of spatial position measurement of textured sphere

No.	Actual value			Measurement			Comprehensive error rate /%
No.	$X_{W}$ /mm	$Y_{W}$ /mm	$Z_{W}$ /mm	$X_{W}$ /mm	$Y_{W}$ /mm	$Z_{W}$ /mm	Comprehensive error rate /%
1	15.00	15.00	408.70	14.87	15.50	408.35	-0.08
2	30.00	30.00		29.77	30.47	409.35	0.16
3	15.00	45.00		15.11	45.51	407.36	-0.31
4	15.00	15.00	499.81	15.00	14.89	499.92	0.02
5	30.00	30.00		29.77	30.04	498.13	-0.34
6	15.00	45.00		14.82	44.67	501.59	0.34
7	15.00	15.00	600.95	15.18	14.76	601.82	0.14
8	30.00	30.00		30.17	29.53	601.91	0.16
9	15.00	45.00		14.80	44.35	600.29	-0.12

查看所有表

4.2　空间姿态的测量

空间姿态对于球体来说即为空间自转方向，将球体固定于转台，依次调整转台转动，记录转动角度 $θ$ ，同步采集对应图像，利用所提姿态测量原理及算法进行测量。

球体旋转的测量值、实际值以及绝对误差如表2所示。可以看出，所提方法平均定向误差为0.68°，且所有样本误差均小于2°，在单目视觉获取的信息较少的情况下，达到了高精度的测量结果。

表 2. 纹理球体空间姿态测量分析

Table 2. Analysis of spatial attitude measurement of textured sphere

No.	Measurement /（°）	Actual value /（°）	Absolute error /（°）
1	30.27	30	0.27
2	61.30	60	1.30
3	90.11	90	0.11
4	120.08	120	0.80
5	150.06	150	0.06
6	181.09	180	1.09
7	210.09	210	0.09
8	239.21	240	-0.79
9	268.07	270	-1.93
10	300.03	300	0.03
11	331.03	330	1.03

查看所有表

4.3　空间位姿的测量

相比于空间位置和姿态分模块测量，对球体空间位姿进行整体测量可以进一步衡量算法的有效性。利用滑轨与转台配合运动，使颗粒均匀于相机视场内并同步进行颗粒旋转，记录滑轨位置与转台角度，采集颗粒图像，测量并分析实验结果。

图5和图6为颗粒在不同方位时的定位定向误差，所提方法的平均定位综合误差为1.12 mm，平均定位综合误差率为0.2%，各实验样本定位综合误差率均在0.5%以内，平均定向误差为1.07°，各实验样本定向误差均小于2°。相较于分模块测量，整体测量的定位定向性能均有下降，其中与空间位置测量相比空间姿态测量性能损失更大，但实验得到的最终定位定向结果仍达到了设计指标，该方法可实现空间球体位姿信息的高效、高精度同步采集。

图 5. 空间算法定位图

Fig. 5. Spatial algorithm positioning diagram

下载图片查看所有图片

图 6. 空间位姿测量误差图

Fig. 6. Spatial pose measurement error diagram

下载图片查看所有图片

5　结论

根据流化床中目标颗粒追踪测量任务的需求，基于成像模型及纹理匹配原理，提出一种单目位姿测量方法。所提方法避免了双目视觉所带来的繁琐计算，克服了传统单目视觉测量无法进行三维定位的痛点，对任意指定球心运动进行三维同步定位，并引入姿态测量，实现了对空间目标的便捷快速且准确的六维测量。实验结果表明，该方法基本满足目标颗粒位姿测量的要求。但在不良光照下，该方法的测量精度容易下降，后续将研究相关图像处理算法以增加系统的鲁棒性。

参考文献

[1] 齐云龙, 刘道银, 蔡葵, 等. 内循环流化床大颗粒运动特性实验[J]. 锅炉技术, 2015, 46(2): 30-33, 43.

Qi Y L, Liu D Y, Cai K, et al. Large solids flow characteristics in an internally circulating fluidized bed[J]. Boiler Technology, 2015, 46(2): 30-33, 43.

[2] Yang S C, Huang H L, Wu G X, et al. High-speed three-dimensional shape measurement with inner shifting-phase fringe projection profilometry[J]. Chinese Optics Letters, 2022, 20(11): 112601.

[3] Lin J M, Du Z H, Yu C Y, et al. Machine-vision-based acquisition, pointing, and tracking system for underwater wireless optical communications[J]. Chinese Optics Letters, 2021, 19(5): 050604.

[4] 肖大伟, 翟军勇. 轮式移动机器人单目视觉的目标测距方法[J]. 计算机工程, 2017, 43(4): 287-291.

Xiao D W, Zhai J Y. Target distance measurement method with monocular vision for wheeled mobile robot[J]. Computer Engineering, 2017, 43(4): 287-291.

[5] 刘书桂, 宋宣晓, 韩振华. 球形靶标中心成像点的高精度定位[J]. 光学精密工程, 2016, 24(8): 1861-1870.

Liu S G, Song X X, Han Z H. High-precision positioning of projected point of spherical target center[J]. Optics and Precision Engineering, 2016, 24(8): 1861-1870.

[6] 耿贺辉, 赵宏, 卜鹏辉, 等. 基于二维成像的球心坐标高精度定位方法[J]. 激光与光电子学进展, 2019, 56(2): 021501.

Geng H H, Zhao H, Bu P H, et al. High accuracy positioning method based on 2D imaging for the coordinates of the center of a sphere[J]. Laser & Optoelectronics Progress, 2019, 56(2): 021501.

[7] Bellani G, Byron M L, Collignon A G, et al. Shape effects on turbulent modulation by large nearly neutrally buoyant particles[J]. Journal of Fluid Mechanics, 2012, 712: 41-60.

[8] Barros D, Hiltbrand B, Longmire E K. Measurement of the translation and rotation of a sphere in fluid flow[J]. Experiments in Fluids, 2018, 59(6): 104.

[9] Zimmermann R, Gasteuil Y, Bourgoin M, et al. Tracking the dynamics of translation and absolute orientation of a sphere in a turbulent flow[J]. The Review of Scientific Instruments, 2011, 82(3): 033906.

[10] Mathai V, Neut M W M, van der Poel E P, et al. Translational and rotational dynamics of a large buoyant sphere in turbulence[J]. Experiments in Fluids, 2016, 57(4): 51.

[11] Will J B, Krug D. Dynamics of freely rising spheres: the effect of moment of inertia[J]. Journal of Fluid Mechanics, 2021, 927: A7.

[12] Will J B, Mathai V, Huisman S G, et al. Kinematics and dynamics of freely rising spheroids at high Reynolds numbers[J]. Journal of Fluid Mechanics, 2021, 912: A16.

[13] 屈姗姗, 陈潇, 吴晓红, 等. 基于单目视觉测距的测高测面积方法[J]. 科学技术与工程, 2016, 16(2): 224-228.

Qu S S, Chen X, Wu X H, et al. A method for measuring the height and area based on distance estimation of monocular vision[J]. Science Technology and Engineering, 2016, 16(2): 224-228.

[14] Sun J H, He H B, Zeng D B. Global calibration of multiple cameras based on sphere targets[J]. Sensors, 2016, 16(1): 77.

[15] 卢晓冬, 薛俊鹏, 张启灿. 基于圆心真实图像坐标计算的高精度相机标定方法[J]. 中国激光, 2020, 47(3): 0304008.

Lu X D, Xue J P, Zhang Q C. High camera calibration method based on true coordinate computation of circle center[J]. Chinese Journal of Lasers, 2020, 47(3): 0304008.

[16] 许丹丹, 马增强, 钱荣威, 等. 基于自适应ROI算法的光斑中心检测[J]. 组合机床与自动化加工技术, 2021(3): 83-86.

Xu D D, Ma Z Q, Qian R W, et al. Spot center detection based on adaptive ROI algorithm[J]. Modular Machine Tool & Automatic Manufacturing Technique, 2021(3): 83-86.

[17] 邓星涛, 闵海. 基于纹理结构相似性和边缘信息的水平集纹理图像分割[J]. 合肥工业大学学报(自然科学版), 2022, 45(1): 30-38, 124.

Deng X T, Min H. Level set method based on texture similarity and edge information for segmenting texture images[J]. Journal of Hefei University of Technology (Natural Science), 2022, 45(1): 30-38, 124.

[18] 王军敏. 面向纹理图像识别的特征提取方法研究[D]. 西安: 西北工业大学, 2019. 10.1051/jnwpu/20203840723

WangJ M. Research on feature extraction for texture image recognition[D]. Xi’an: Northwestern Polytechnical University, 2019.

[19] Chen J R, Wang A Y, Pan A, et al. Rapid full-color Fourier ptychographic microscopy via spatially filtered color transfer[J]. Photonics Research, 2022, 10(10): 2410-2421.

李江杰, 孔明, 刘璐, 赵云琨, 陈江楠. 单目视觉测量球体颗粒位姿[J]. 激光与光电子学进展, 2024, 61(4): 0415005. Jiangjie Li, Ming Kong, Lu Liu, Yunkun Zhao, Jiangnan Chen. Measurement of Spherical Particle Pose by Monocular Vision[J]. Laser & Optoelectronics Progress, 2024, 61(4): 0415005.