聚焦型光场相机等效多相机模型及其运动恢复结构应用

刘青松; 谢晓方; 张烜喆; 田瑜; 许晓军

doi:doi:10.3788/AOS202141.0315001

光学学报, 2021, 41 (3): 0315001, 网络出版: 2021-02-28

聚焦型光场相机等效多相机模型及其运动恢复结构应用下载： 1384次封面文章

Equivalent Multi-Camera Model of Focused Plenoptic Camera and Its Application in Structure from Motion

论文大纲

刘青松 ^1,2谢晓方 ^1,*张烜喆 ²田瑜 ³许晓军 ²

作者单位

¹ 海军航空大学, 山东烟台 264001

² 国防科技大学前沿交叉学科学院, 湖南长沙 410073

³ 国防科技大学计算机学院, 湖南长沙 410073

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

聚焦型光场相机在运动恢复结构(SFM)和场景重建等领域中的作用日益显现。但是传统SFM算法因聚焦型光场相机具有特殊的结构而难以直接应用。针对这一问题,提出一种完整的聚焦型光场相机等效多目相机模型。在此基础上,利用传统多目相机的SFM算法,给出了适用于聚焦型光场相机的位姿估计算法示例和点云三角化算法示例。最后,通过仿真实验和真实场景重建实验验证了本文等效多目相机模型和SFM算法的正确性,进而表明聚焦型光场相机的SFM问题可以等价为多目相机的SFM问题。

Abstract

Focused plenoptic cameras have played an increasingly important role in fields like structure from motion (SFM) and scene reconstruction. However, the traditional SFM algorithms cannot be directly applied to focused plenoptic cameras due to the special structures of the cameras. In order to solve this problem, we proposed a complete equivalent multi-camera model of focused plenoptic cameras. On this basis, we employed the SFM algorithms of the traditional multi-camera to give the algorithm examples suitable for focused plenoptic cameras with regard to pose estimation and point cloud triangulation. Finally, the experimental results of simulations and real scene reconstruction verify the correctness of the equivalent multi-camera model and the SFM algorithms, further indicating that the SFM problem of focused plenoptic cameras can be equivalent to that of multi-camera.

1 引言

光场相机能够同时捕捉光线的空间分布和角度分布信息,进而可以记录场景的深度信息,这使得光场相机能够应用于三维重建^[1]、速度距离测量^[2-3]以及运动恢复结构(SFM)等诸多领域。相比于非聚焦型光场相机^[4],聚焦型光场相机^[5]可以在相似的相机配置条件下实现更高的深度计算精度,因此更适用于运动恢复结构(SFM)等领域。

运动恢复结构(SFM)的主要研究内容是从一个移动相机拍摄得到的一系列二维图像中恢复相机姿态和场景结构。很多学者^[6-8]在SFM领域做了大量研究。目前较为流行的是Schonberger等^[9]提出的COLMAP方法。但是这些方法仅适用于针孔相机,难于直接应用于聚焦型光场相机。

近几年,很多学者提出了适用于非聚焦型光场相机的SFM方法。Johannsen等^[10]首次提出了适用于光场相机的SFM算法——LF-SFM。Zhang等^[11]提出了基于直线和平面特征的SFM流程。Nousias等^[12]提出了基于大规模无序排列的非聚焦型光场图像集合的场景重建算法。但是由于聚焦型光场相机和非聚焦型光场相机的结构和参数不同,聚焦型光场相机无法像非聚焦型光场相机那样便捷地提取子孔径图像,因此非聚焦型光场相机的SFM方法并不能直接应用于聚焦型光场相机。

为此,Zeller等^[13]提出了适用于聚焦型光场相机的场景重建算法,分析了聚焦型光场相机等效多目相机模型中相机的空间位置。但是该方法在计算相机位姿过程中,将光场相机退化为针孔相机模型,且利用全聚焦图像对准来进行光场相机的位姿估计,故没有充分利用多目相机模型相比于针孔模型的优势,并且Zeller等^[13]并没有给出完整的聚焦型光场相机等效多目相机模型,尤其是没有给出每个子相机的内参矩阵。

本文针对聚焦型光场的SFM问题,提出了完整准确的聚焦型光场相机的等效多目相机模型。并基于等效多目相机模型,利用多目相机的SFM方法,给出了适用于聚焦型光场相机的位姿估计方法和点云三角化方法。最后,通过仿真实验和真实场景重建实验验证了本文等效模型的正确性,证实了位姿估计方法和点云三角化方法的有效性,进而表明聚焦型光场相机SFM问题可以等效为多目相机SFM问题。

2 聚焦型光场相机基本概念

2.1 相机结构

聚焦型光场相机可以划分为均一焦距的聚焦型光场相机^[14]和多焦距聚焦型光场相机^[15]。本研究以多焦距聚焦型光场相机为例进行说明,因为均一焦距可以视为多焦距的特例。聚焦型光场相机的成像平面可以位于微透镜阵列(MLA)的前侧或者后侧,前者对应开普勒结构,后者对应伽利略结构,如图1所示。目前的商用聚焦型光场相机(例如:Raytrix公司)多采用伽利略结构,其通过使用3类不同焦距的微透镜来增加景深范围。

图 1. 多焦距聚焦型光场相机结构示意。 (a)开普勒结构;(b)伽利略结构

Fig. 1. Illustration of focused plenoptic camera with multi-focus. (a) Keplerian configuration; (b) Galilean configuration

下载图片查看所有图片

2.2 坐标系建立

为了方便后续的描述,首先建立坐标系,并对相关符号进行说明。光场相机坐标系OXYZ的中心选在主透镜的中心位置O点,其Z轴方向与相机光轴重合,方向朝外。图像坐标系ouv的坐标原点选在传感器的左上角o点。具体的坐标系示意图如图2所示,图中f_L为主透镜的焦距(mm),b为传感器相对于主透镜的位移(mm),B表示传感器相对于MLA的位移(mm)。值得注意的是,这里f_L为正数,而b和B为负数。

图 2. 光场相机坐标系建立

Fig. 2. Establishment of coordinate system for plenoptic camera

下载图片查看所有图片

2.3 光场相机标定

在计算聚焦型光场相机等效多目相机模型的具体参数之前,需要得到聚焦型光场相机的具体相机标定参数。本研究采用Bok等^[16]提出的光场相机内参{f_x,f_y,c_u,c_v,K₁,K₂}。这些内参和本文相机模型中参数的具体对应关系为

\begin{array}{l} \{\begin{array}{l} f_{x} = - b / s_{x} \\ f_{y} = - b / s_{y} \end{array}, (1) \\ \{\begin{array}{l} K_{1} = (f_{L} + b - B) b / (B f_{L}) \\ K_{2} = (B - b) b / B \end{array}, (2) \end{array}

式中:f_x和f_y分别为x和y方向的像素焦距;(s_x,s_y)为传感器上像素的物理尺寸;(c_u,c_v)表示主镜头的中心O点在ouv中的像素坐标;K₁,K₂为光场相机区别于针孔相机的相机参数。

3 聚焦型光场相机等效多目相机模型

聚焦型光场相机本质上可以等价为多目相机阵列。假定在物空间存在物点P,其在相机坐标系OXYZ内的坐标为(P_x,P_y,P_z),那么根据薄透镜成像公式,P点对应的像点Q的坐标满足

Q_{z} = \frac{f_{L} P_{z}}{f_{L} - P_{z}}, (3)

式中:Q_z为Q点在相机坐标系OXYZ中的Z轴坐标值。进一步,将微透镜中心位置看作成像点,并根据薄透镜成像公式将微透镜中心坐标投影到真实空间中,进而得到

L_{z} = \frac{f_{L} (b - B)}{(b - B) + f_{L}}, (4)

式中:L_z为微透镜中心投影后位置在OXYZ中的Z轴坐标值。将所有投影后的微透镜看作子相机的主镜头,就可以将聚焦型光场相机等效变换为虚拟的相机阵列。根据MLA平面距离主透镜的距离 $|b - B|$ 和主透镜焦距f_L的关系,可得L_z的取值有正负之分。因此可以得到图3所示两种等效多相机模型,即f_L>|b-B|和f_L<|b-B|两种情况。

图 3. 等效多目相机模型。(a) f_L>|b-B|; (b) f_L<|b-B|

Fig. 3. Equivalent multi-camera model. (a) f_L>|b-B|; (b) f_L<|b-B|

下载图片查看所有图片

3.1 子相机位置姿态

在完成相机标定后,可以根据相机内参来确定等效多目相机模型中的子相机的物理空间位置和姿态。根据相似三角形关系,可以得到子相机中心坐标(L_x,L_y,L_z)和ouv下微透镜中心坐标(l_u,l_v)的关系为

\{\begin{array}{l} \frac{(l_{u} - c_{u}) s_{x}}{L_{x}} = \frac{b - B}{L_{z}} \\ \frac{(l_{v} - c_{v}) s_{y}}{L_{y}} = \frac{b - B}{L_{z}} \end{array} 。 (5)

根据(2)式中K₁和K₂,结合(4)式,可以得到L_z=-K₂/K₁。进一步由(5)式可得

\{\begin{array}{l} L_{x} = - \frac{(l_{u} - c_{u}) s_{x} K_{2}}{(b - B) K_{1}} \\ L_{y} = - \frac{(l_{v} - c_{v}) s_{y} K_{2}}{(b - B) K_{1}} \end{array} 。 (6)

根据相似三角形关系,可以得到微透镜中心像素坐标(l_u,l_v)和微透镜图像中心像素坐标(i_u,i_v)的关系为

\{\begin{array}{l} \frac{(l_{u} - c_{u})}{(i_{u} - c_{u})} = \frac{(b - B)}{b} \\ \frac{(l_{v} - c_{v})}{(i_{v} - c_{v})} = \frac{(b - B)}{b} \end{array} 。 (7)

根据(1)式、(6)式和(7)式可以得到虚拟相机阵列中每个子相机中心在OXYZ中的坐标为

{[\begin{array}{l} L_{x} & L_{y} & L_{z} \end{array}]}^{T} = {[\begin{array}{l} - \frac{K_{2} (i_{u} - c_{u})}{K_{1} f_{x}} & - \frac{K_{2} (i_{v} - c_{v})}{K_{1} f_{y}} & - \frac{K_{2}}{K_{1}} \end{array}]}^{T} 。 (8)

除了子相机的中心位置,子相机的朝向也是需要确定的重要参数。由于MLA平面的所有微透镜共面且朝向统一,因此投影后得到的子相机中心位置也符合共面特性,且每个子相机的朝向相同。每个子相机的朝向与聚焦型光场相机的朝向保持一致。

在此基础上,建立子相机的相机坐标系O'JKL,如图4所示,其坐标系中心选在子相机的中心位置,坐标轴方向与相机坐标系OXYZ的坐标轴方向相同,与此同时,建立投影传感器的像素坐标系o'mn。对于空间内任意一个点P,令其在相机坐标系OXYZ内坐标为(P_x,P_y,P_z),那么P在某一子相机坐标系O'JKL内的坐标(P_j,P_k,P_l)为

[\begin{array}{l} P_{j} \\ P_{k} \\ P_{l} \end{array}] = [\begin{array}{l} 1 \\ 1 \\ 1 \end{array}] [\begin{array}{l} P_{x} \\ P_{y} \\ P_{z} \end{array}] + [\begin{array}{l} - L_{x} \\ - L_{y} \\ - L_{z} \end{array}], (9)

这样就得到了子相机坐标O'JKL相对于相机坐标系OXYZ的变换关系。

图 4. 子相机坐标系建立示意图

Fig. 4. Establishment of coordinate system for sub-camera

下载图片查看所有图片

3.2 子相机内参矩阵

为了得到完整的多相机等效模型,需要推导出每个子相机的内参矩阵。根据Bok等^[16]的工作,原始图上像素点p在标定后可以换算为相机外真实空间中的一根光线,该光线在OXYZ坐标系中的方向向量(r_x,r_y,1)和点p在ouv中的坐标(p_u,p_v)的关系为

[\begin{array}{l} r_{x} \\ r_{y} \end{array}] = K_{1} [\begin{array}{l} (p_{u} - i_{u}) / f_{x} \\ (p_{v} - i_{v}) / f_{y} \end{array}] + [\begin{array}{l} (i_{u} - c_{u}) / f_{x} \\ (i_{v} - c_{v}) / f_{y} \end{array}] 。 (10)

假定点P是和像素点p相关的三维空间点,并用(P_j,P_k,P_l)表示P点在子相机坐标系O'JKL中的坐标,那么(P_j,P_k,P_l)和光线方向向量(r_x,r_y,1)的关系为

[\begin{array}{l} P_{j} \\ P_{k} \\ P_{l} \end{array}] = (\frac{K_{2}}{K_{1}} + P_{z}) [\begin{array}{l} r_{x} \\ r_{y} \\ 1 \end{array}] 。 (11)

根据(10)式,(11)式变为

[\begin{array}{l} p_{u} - i_{u} \\ p_{v} - i_{v} \\ 1 \end{array}] = [\begin{array}{l} f_{x} / K_{1} & - (i_{u} - c_{u}) / K_{1} \\ f_{y} / K_{1} & - (i_{v} - c_{v}) / K_{1} \\ 1 \end{array}] [\begin{array}{l} P_{j} / P_{l} \\ P_{k} / P_{l} \\ 1 \end{array}] 。 (12)

(12)式反映了(P_j,P_k,P_l)和原始图中特征坐标(p_u,p_v)的关系。为进一步得到(P_j,P_k,P_l)和子相机图像内特征坐标的关系,首先确定投影后传感器的位置,并建立子相机图像坐标系o″αβ。

通过图5可以看出,投影后传感器上的图像形状和原始图上的微透镜图像形状是一致的。为了方便描述,本研究取投影后传感器和投影后MLA之间的间距为单位1,同时令投影后传感器的像素分辨率和原始图分辨率保持一致。假设微透镜图像中任意一点p在坐标系ouv下的坐标为(p_u,p_v),并且p点对应的微透镜图像中心i点坐标为(i_u,i_v)。令(p_m,p_n)和(i_m,i_n)表示p点和i点在投影后传感器上对应位置在坐标系o'mn下的坐标,则三者满足

(p_{m}, p_{n}) - (i_{m}, i_{n}) = (p_{u}, p_{u}) - (i_{u}, i_{v}) 。 (13)

图 5. 子相机图像和微透镜图像的对应关系

Fig. 5. Relation between sub-camera image and micro-image

下载图片查看所有图片

为了更清晰地进行后续描述,建立子相机的图像坐标系o″αβ,如图6所示。对于o'mn中的特征坐标(p_m,p_n),其在o″αβ中的坐标(p_α,p_β)为

(p_{α}, p_{β}) = (p_{m}, p_{n}) - (i_{m}, i_{n}) + (r_{mi}, r_{mi}), (14)

式中:r_mi为微透镜图像的像素半径,其在数值上等于投影后子相机圆形图像的像素半径。

图 6. 子相机图像坐标系建立示意图

Fig. 6. Establishment of sub-camera image coordinate system

下载图片查看所有图片

根据(12)~(14)式,可以得到从(P_j,P_k,P_l)到(p_α,p_β)的变换关系,即

[\begin{array}{l} p_{α} \\ p_{β} \\ 1 \end{array}] = H [\begin{array}{l} P_{j} / P_{l} \\ P_{k} / P_{l} \\ 1 \end{array}] = [\begin{array}{l} f_{x} / K_{1} & 0 & (c_{u} - i_{u}) / K_{1} + r_{mi} \\ 0 & f_{y} / K_{1} & (c_{v} - i_{v}) / K_{1} + r_{mi} \\ 0 & 0 & 1 \end{array}] [\begin{array}{l} P_{j} / P_{l} \\ P_{k} / P_{l} \\ 1 \end{array}], (15)

式中:H为等效多目相机中子相机的内参矩阵。值得注意的是,不同位置的子相机的内参矩阵不是固定的,具体的变化体现在内参矩阵H需要根据微透镜图像中心坐标(i_u,i_v)的变化而变化。这是由于微透镜中心和微透镜图像中心并不总在一条水平直线上,故导致投影得到的子相机中心和子相机图像中心也并不总是在同一个水平直线上,如图6所示。

3.3 像素到光线的映射

在等效多相机模型的基础上,将不同子相机内的特征转换为光线坐标,便于使用基于光线的传统位姿估计算法和点云三角化算法。

具体来讲,本研究采用普吕克坐标^[17]来进行光线的坐标表示。对于中心坐标为(L_x,L_y,L_z)的子相机,令其图像内的像素点p在坐标系o″αβ下的坐标为(p_α,p_β)。根据(13)式和(14)式,可以得到p点在微透镜图像内对应的特征坐标(p_u,p_v)为

(p_{u}, p_{u}) = (p_{α}, p_{β}) - (r_{mi}, r_{mi}) + (i_{u}, i_{v}) 。 (16)

根据(10)式,可以得到像素坐标为(p_u,p_v)的特征对应的光线(相机外)在聚焦型光场相机相机坐标系OXYZ下的方向向量为(r_x,r_y,1)。因为该光线必定通过子相机的中心(L_x,L_y,L_z),所以光线弯矩(m_r₁,m_r₂,m_r₃)的计算公式为

[\begin{array}{l} m_{r 1} \\ m_{r 2} \\ m_{r 3} \end{array}] = [\begin{array}{l} L_{x} \\ L_{y} \\ L_{z} \end{array}] \times [\begin{array}{l} r_{x} \\ r_{y} \\ 1 \end{array}] 。 (17)

对于中心坐标为(L_x,L_y,L_z)的子相机,图像坐标为(p_α,p_β)的特征点对应的特征光线在OXYZ下的普吕克坐标为

q_{r} = {[\begin{array}{l} r_{x} & r_{y} & 1 & m_{r 1} & m_{r 2} & m_{r 3} \end{array}]}^{T} 。 (18)

4 基于多目相机等效模型的SFM方法

本研究将聚焦型光场等效为多目相机阵列。对于多目相机,更一般的数学描述为非中心相机^[18]。这里的非中心相机指的不是传统意义上的针孔相机,而是具有多个光线会聚中心的一般相机模型。非中心相机存在一个视点(view point),所有子相机相对于视点存在一定的旋转和位移,且每个子相机都有经过自己子相机中心的光线,具体的示意如图7所示。在实际应用过程中,非中心相机被当作一个整体看待。

图 7. 非中心相机示意图

Fig. 7. Illustration of non-central camera

下载图片查看所有图片

对于聚焦型光场相机,其视点位于主镜头中心O点,相机坐标系OXYZ即为视点坐标系,故3.1节中的坐标系O'JKL即为子相机坐标系。(9)式描述了视角坐标系和子相机坐标的位置关系,(10)式、(17)式和(18)式是将像素特征转化为普吕克坐标表示的光线。

本节基于聚焦型光场相机的等效多目相机模型,利用非中心相机的SFM算法给出了适用于聚焦型光场相机的位姿估计算法和点云三角化算法示例,并以此证明聚焦型光场相机的SFM问题可以转化为多目相机的SFM问题。传统多目相机的SFM方法可以应用于聚焦型光场相机的SFM问题中。

4.1 相对位姿估计

在SFM过程中,往往要利用两帧图像进行场景重建初始化,这其中涉及到两帧图像之间的相对位姿估计^[9]。对于聚焦型光场相机,这一问题可以划归为非中心相机的相对位姿估计问题。本研究利用聚焦型光场相机的等效多相机模型,使用基于RANSAC方法^[19]中的17点算法^[20]进行两帧聚焦型光场相机图像之间的相对位姿估计。

具体来讲,假定两帧原始图具有N_m组匹配的特征点。对于第i组匹配特征点i=1,2,…,N_m,假定其在第1帧有 $m_{i}^{rel}$ 个特征点,在第2帧有 $n_{i}^{rel}$ 个特征点,利用3.3节的方法可以将所有特征点都换算成由普吕克坐标表示的光线,这样可以得到 $\overset{N_{m}}{\sum_{i = 1}} m_{i}^{rel} n_{i}^{rel}$ 个匹配的光线对。对于两帧之间的任意匹配光线,其普吕克坐标L₁和L₂满足

{L^{T}}_{1} [\begin{array}{l} E & R \\ R & 0 \end{array}] L_{2} = 0, (19)

式中:E为本质矩阵;R为两帧之间的旋转矩阵。假定向量t表示两帧之间的位移向量,那么本质矩阵E在数值上满足

E = [\begin{array}{l} 0 & - t_{3} & t_{2} \\ t_{3} & 0 & - t_{1} \\ - t_{2} & t_{1} & 0 \end{array}] R, (20)

式中:t₁、t₂和t₃为向量t的元素分量。

将 $\overset{N_{m}}{\sum_{i = 1}} m_{i}^{rel} n_{i}^{rel}$ 个匹配的光线对作为基于RANSAC方法中17点算法^[20]的输入,可以计算得出从第2帧相机坐标系OXYZ到第1帧相机坐标系OXYZ的变换矩阵R和t。

4.2 绝对位姿估计

在场景重建过程中,基于已有的重建点,对新图像帧进行注册的问题本质上就是绝对位姿估计的问题。根据聚焦型光场相机的等效多目模型,其绝对位姿估计问题可以划归为非中心相机的绝对位姿求解问题^[18],即利用n^abs个二维点和三维点的对应关系来得到已标定非中心相机的位置和姿态。

在非中心相机的绝对位姿求解问题上,gP3P算法^[21]具有较好的表现,故本研究采用基于RANSAC方法^[19]的gP3P算法^[21]进行绝对位姿估计。在实际计算过程中,一个空间三维点在原始图中对应多个二维特征点。设共计有N_abs个三维特征点可以在当前帧中找到匹配的二维特征,对于第j个三维特征点(j=1,2,…,N_abs),在原始图中存在 $n_{j}^{abs}$ 个二维特征点与之对应。这样共计存在 $\overset{N_{abs}}{\sum_{j = 1}} n_{j}^{abs}$ 个二维点-三维点的对应关系。将所有二维点-三维点的对应关系作为基于RANSAC^[19]的gP3P算法^[21]的输入,就可以计算得到当前帧相对于三维点所在世界坐标系的绝对位置姿态。本研究在具体实现过程,利用文献[ 18]中公开的OpenGV代码库中的代码实现。

4.3 点云三角化

在得到图像帧位置姿态后,需要根据两帧图像的匹配特征通过三角化算法计算出空间三维点在世界坐标系的坐标。具体来讲,对于一个任意的空间三维点,假设其在第1帧聚焦型光场相机原始图中具有m^tri个匹配特征点,在第2帧中具有n^tri个匹配特征点,那么根据聚焦型光场相机的多目等效模型,可知该问题可以等效为多视角(m^tri+n^tri视角)三角化问题,其中每个相机的内参矩阵可以通过(15)式得到,子相机的物理位置可以通过(8)式得到。本研究利用DLT算法^[22]得到重建的三维点,并进一步利用Levenberg-Marquardt非线性优化算法^[23]优化重投影误差,进而优化三维重建点的坐标。

5 实验与验证

为了验证本文等效多目相机模型和SFM算法的正确性,进行相应的仿真和真实实验。实验代码在win7操作系统上的MATLAB软件上运行。实验所用计算机的CPU为英特尔公司的i7-7700(3.6 GHz)。本研究首先通过仿真实验验证本文等效模型的正确性。具体的聚焦型光场相机仿真参数如表1所示。传感器的分辨率为3000 pixel×2000 pixel。

根据表1仿真参数可以计算出相机内参{f_x,f_y,c_u,c_v,K₁,K₂}的具体取值,如表2所示。

表 2. 聚焦型光场相机标定内参取值

Table 2. Intrinsic parameters of focused plenoptic camera

K₁	K₂	f_x	f_y	c_u	c_v
3.19	728.17	5756.98	5756.98	1500	1000

查看所有表

表 1. 聚焦型光场相机参数设置

Table 1. Parameters of focused plenoptic camera

f_L /mm	b /mm	B /mm	s_x /μm	s_y /μm	r_mi /pixel
35	-31.67	-1.32	5.5	5.5	16

查看所有表

根据表2所示的仿真参数以及(8)式,可以得到等效相机阵列中子相机的最小物理间距为1.269 mm,最远的子相机物理间距能够达到140.423 mm。等效相机阵列呈六边形排布,共计有71×92个子相机。在仿真相机的基础上,测试了相对位姿估计、绝对位姿估计以及点云三角化算法的性能,进而验证了等效模型的正确性。

随后,使用Ratyrix公司的R29相机进行真实场景的拍摄,并基于拍摄的场景进行真实的场景重建实验。这一真实实验进一步验证了本文等效相机模型的正确性,并表明基于多目相机模型的SFM算法能够成功应用于聚焦型光场相机的场景重建中。

5.1 相对位姿仿真测试

首先,基于仿真的聚焦型光场相机,测试4.1节中的相对位姿估计算法在不同噪声水平下的性能表现。对于两帧不同位置的聚焦型光场相机图像,令第1帧图像的相机坐标系OXYZ和世界坐标系O_wX_wY_wZ_w重合,并随机产生第2帧图像的位置。具体来讲,从[-0.2 m,0.2 m]范围内随机产生第2帧图像相对于O_wX_wY_wZ_w的位移,并在[-18°,18°]的范围内随机产生第2帧图像相对于O_wX_wY_wZ_w中3个坐标轴的旋转角度。与此同时,在距离相机0.5~8.5 m的范围内,随机产生200个空间三维点,并将三维点投影到光场原始图中。对于投影后的二维特征点位置,加入均值为0、均方差为σ的高斯噪声。实验中,改变噪声均方差σ的取值,观察位姿估计结果的精度。为了增加实验的一般性,对每个σ取值,共计进行100次独立实验。每次实验中,第2帧相机图像的姿态和三维点云都随机产生。实验中,衡量相对位姿估计准确度的评价指标为100次独立实验的相机位移误差和旋转角度误差的中值,具体计算结果如图8所示。

图 8. 相对位姿估计结果。(a)位移误差中值;(b)旋转角度误差中值

Fig. 8. Results of relative pose estimation. (a) Median position error; (b) median rotation error

下载图片查看所有图片

从实验结果可以看出,基于等效多目相机模型的相对位姿估计算法具有较好的精度,并且估计精度和噪声水平大致呈线性关系,这验证了本文提出的等效多目相机模型的正确性,也说明该算法能够有效地解决聚焦型光场相机的相对位姿估计问题。

5.2 绝对位姿估计仿真测试

在绝对位姿估计仿真实验中,本研究采用的相机参数和仿真参数与5.1节中的参数一致。具体的区别在于:在绝对位姿估计实验中,本研究根据三维空间点和第2帧图像的二维特征之间的对应关系,计算第2帧图像在世界坐标系中的位置和姿态,具体的计算结果如图9所示。

图 9. 绝对位姿估计结果。(a)位移误差中值;(b)旋转角度误差中值

Fig. 9. Results of absolute pose estimation. (a) Median position error; (b) median rotation error

下载图片查看所有图片

根据实验结果,基于等效多目相机模型的绝对位姿估计算法具有较好的位姿估计结果,这再次验证了本文提出的等效多目相机模型的正确性,也说明该算法能够有效地解决聚焦型光场相机的绝对位姿估计问题。

5.3 点云三角化仿真测试

在点云三角化仿真实验中,本研究采用和5.1节中相同的仿真条件。具体的区别在于:点云三角化实验利用两帧光场图像之间的已知位姿和二维特征匹配关系,来计算对应的空间三维点,并通过三维点的空间误差来衡量点云三角化的精度。

实验中三角化精度的评价指标为100次独立实验中重建点云平均误差的中值,具体的计算结果如图10所示。该实验结果验证了本文提出的等效多目相机模型的正确性,也表明该三角化算法能够有效地解决聚焦型光场相机的点云三角化问题。

图 10. 三角化结果

Fig. 10. Results of triangulation

下载图片查看所有图片

5.4 真实场景重建实验

为了进一步验证本文等效多目相机模型的正确性,进行了真实场景重建实验。具体来讲,使用R29聚焦型光场相机搭配100 mm焦距的主透镜,拍摄了15张真实场景的光场图像。实验中,被拍摄场景距离相机0.9 m左右。具体的几幅原始图示例如图11所示。

图 11. R29拍摄的原始图

Fig. 11. Raw images captured by R29

下载图片查看所有图片

本文首先参照文献[ 24]中的实验,基于棋盘格标定板进行R29相机的标定,标定后的相机内参取值如表3所示。根据该参数,可以得到R29相机等效相机阵列的具体参数。相机阵列中最小子相机间距为6.46 mm,最大子相机间距为1588.93 mm,共计有158×206个子相机,且呈六边形排布。

表 3. R29相机内参标定结果

Table 3. Intrinsic parameters of R29 camera

K₁	K₂	f_x	f_y	c_u	c_v
-2.123	7856.647	18336.371	18233.242	3393.004	2319.694

查看所有表

在此基础上,利用R29相机配套软件RxLive得到15帧光场图像对应的深度图和全聚焦图。随后,在全聚焦图上提取SIFT特征,并结合SIFT特征在深度图中的虚深度^[5]取值,将检测到的SIFT特征投影到原始图中,具体的SIFT特征在原始图的检测结果示例如图12所示。

图 12. SIFT特征检测结果示例

Fig. 12. Illustration of detected SIFT features

下载图片查看所有图片

在得到原始图中的SIFT特征位置后,根据聚焦型光场相机的等效模型将二维特征投影为由普吕克坐标表示的光线,进而利用4.1、4.2和4.3节的方法进行位姿估计和点云三角化。

在具体的场景重建过程中,使用类似于COLMAP^[9]的场景重建流程,结合4.1、4.2和4.3节的SFM算法,最终得到了真实物理尺度的场景重建结果和15帧相机的位置和姿态,如图13所示。

图 13. 场景重建结果。(a)不带坐标轴;(b)带坐标轴

Fig. 13. Scene reconstruction results. (a) Results without coordinate axis; (b) results with coordinate axis

下载图片查看所有图片

通过实验结果可以看出,本文场景重建实验能够正确恢复出场景的结构和物理尺度。这不仅可以验证本文提出的聚焦型光场相机等效模型的正确性,还说明了聚焦型光场相机的SFM问题可以等价为多目相机的SFM问题。

6 结论

针对聚焦型光场相机的运动恢复结构(SFM)问题,提出完整的聚焦型光场相机等效多目相机模型。基于该等效模型,给出适用于聚焦型光场相机的相机位姿估计算法和点云三角化算法示例。仿真实验和真实场景重建实验的结果验证了本文等效多目相机模型和SFM算法的正确性,并表明聚焦型光场相机的SFM问题可以转化为多目相机的SFM问题。

参考文献

[1] 宋祥磊, 李舒, 顾梦涛, 等. 光场显微成像微尺度流场三维重建方法研究[J]. 光学学报, 2019, 39(10): 1011002.

Song X L, Li S, Gu M T, et al. Three-dimensional reconstruction of micro-scale flow field based on light field microscopic imaging[J]. Acta Optica Sinica, 2019, 39(10): 1011002.

[2] 孙福盛, 韩燮. 基于微透镜阵列型光场相机的多目标快速测距方法[J]. 光学学报, 2019, 39(8): 0815001.

Sun F S, Han X. Multi-objective fast ranging method based on microlens array light field camera[J]. Acta Optica Sinica, 2019, 39(8): 0815001.

[3] 刘慧芳, 周骛, 蔡小舒, 等. 基于光场成像的三维粒子追踪测速技术[J]. 光学学报, 2020, 40(1): 0111014.

Liu H F, Zhou W, Cai X S, et al. Three-dimensional particle tracking velocimetry based on light field imaging[J]. Acta Optica Sinica, 2020, 40(1): 0111014.

[4] NgR, LevoyM, BredifM, et al. 2005-02[2020-07-21]. http:∥graphics.stanford.edu/papers/lfcamera/lfcamera-150dpi.pdf.

[5] Ng R, Levoy M, Brédif M, et al. Light field photography with a hand-held plenoptic camera[J]. Computer Science Technical Report CSTR, 2005, 2(11): 1-11.

[6] HeinlyJ, Schönberger JL, DunnE, et al.Reconstructing the world* in six days[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA.New York: IEEE Press, 2015: 3287- 3295.

[7] Snavely N, Simon I, Goesele M, et al. Scene reconstruction and visualization from community photo collections[J]. Proceedings of the IEEE, 2010, 98(8): 1370-1390.

[8] Schöps T, Sattler T, Häne C, et al. Large-scale outdoor 3D reconstruction on a mobile device[J]. Computer Vision and Image Understanding, 2017, 157: 151-166.

[9] Schönberger JL, Frahm JM. Structure-from-motion revisited[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA.New York: IEEE Press, 2016: 4104- 4113.

[10] JohannsenO, SulcA, GoldlueckeB. On linear structure from motion for light field cameras[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, Santiago, Chile.New York: IEEE Press, 2015: 720- 728.

[11] Zhang YL, Yu PH, YangW, et al.Ray space features for plenoptic structure-from-motion[C]∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy.New York: IEEE Press, 2017: 4641- 4649.

[12] NousiasS, LourakisM, BergelesC. Large-scale, metric structure from motion for unordered light fields[C]∥2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 15-20, 2019, Long Beach, CA, USA.New York: IEEE Press, 2019: 3287- 3296.

[13] Zeller N, Quint F, Stilla U. From the calibration of a light-field camera to direct plenoptic odometry[J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 1004-1019.

[14] LumsdaineA, GeorgievT. The focused plenoptic camera[C]∥2009 IEEE International Conference on Computational Photography (ICCP), April 16-17, 2009, San Francisco, CA, USA.New York: IEEE Press, 2009: 1- 8.

[15] Georgiev T, Lumsdaine A. The multifocus plenoptic camera[J]. Proceedings of SPIE, 2012, 8299: 829908.

[16] Bok Y, Jeon H, Kweon I S. Geometric calibration of micro-lens-based light field cameras using line features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 39(2): 287-300.

[17] StolfiJ. Primitives for computational geometry[D]. Stanford: Stanford University, 1988: 189- 197.

[18] KneipL, FurgaleP. OpenGV: A unified and generalized approach to real-time calibrated geometric vision[C]∥2014 IEEE International Conference on Robotics and Automation (ICRA), May 31 - June 7, 2014, Hong Kong, China. New York: IEEE Press, 2014: 1- 8.

[19] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Communications of the ACM, 1981, 24(6): 381-395.

[20] LiH, HartleyR, KimJ. A linear approach to motion estimation using generalized camera models[C]∥2008 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), June 23-28, 2008. Anchorage, AK, USA.New York: IEEE Press, 2008: 1063- 6919.

[21] KneipL, FurgaleP, SiegwartR. Using multi-camera systems in robotics: efficient solutions to the NPnP problem[C]∥2013 IEEE International Conference on Robotics and Automation, May 6-10, 2013, Karlsruhe, Germany. New York: IEEE Press, 2013: 3770- 3776.

[22] Hartley R I, Sturm P. Triangulation[J]. Computer Vision and Image Understanding, 1997, 68(2): 146-157.

[23] HartleyR, ZissermanA. Multiple view geometry in computer vision[M]. Cambridge: Cambridge University Press, 2004.

[24] 刘青松, 谢晓方, 张烜喆, 等. 用于聚焦型光场相机标定的棋盘角点检测算法[J]. 光学学报, 2020, 40(14): 1415002.

Liu Q S, Xie X F, Zhang X Z, et al. Checkerboard corner detection algorithm for calibration of focused plenoptic camera[J]. Acta Optica Sinica, 2020, 40(14): 1415002.

刘青松, 谢晓方, 张烜喆, 田瑜, 许晓军. 聚焦型光场相机等效多相机模型及其运动恢复结构应用[J]. 光学学报, 2021, 41(3): 0315001. Qingsong Liu, Xiaofang Xie, Xuanzhe Zhang, Yu Tian, Xiaojun Xu. Equivalent Multi-Camera Model of Focused Plenoptic Camera and Its Application in Structure from Motion[J]. Acta Optica Sinica, 2021, 41(3): 0315001.

聚焦型光场相机等效多相机模型及其运动恢复结构应用 下载： 1384次封面文章

1 引言

2 聚焦型光场相机基本概念

2.1 相机结构

图 1. 多焦距聚焦型光场相机结构示意。 (a)开普勒结构;(b)伽利略结构

Fig. 1. Illustration of focused plenoptic camera with multi-focus. (a) Keplerian configuration; (b) Galilean configuration

2.2 坐标系建立

图 2. 光场相机坐标系建立

Fig. 2. Establishment of coordinate system for plenoptic camera

2.3 光场相机标定

3 聚焦型光场相机等效多目相机模型

图 3. 等效多目相机模型。(a) fL>|b-B|; (b) fL<|b-B|

Fig. 3. Equivalent multi-camera model. (a) fL>|b-B|; (b) fL<|b-B|

3.1 子相机位置姿态

图 4. 子相机坐标系建立示意图

Fig. 4. Establishment of coordinate system for sub-camera

3.2 子相机内参矩阵

图 5. 子相机图像和微透镜图像的对应关系

Fig. 5. Relation between sub-camera image and micro-image

图 6. 子相机图像坐标系建立示意图

Fig. 6. Establishment of sub-camera image coordinate system

3.3 像素到光线的映射

4 基于多目相机等效模型的SFM方法

图 7. 非中心相机示意图

Fig. 7. Illustration of non-central camera

4.1 相对位姿估计

4.2 绝对位姿估计

4.3 点云三角化

5 实验与验证

表 2. 聚焦型光场相机标定内参取值

Table 2. Intrinsic parameters of focused plenoptic camera

表 1. 聚焦型光场相机参数设置

Table 1. Parameters of focused plenoptic camera

5.1 相对位姿仿真测试

图 8. 相对位姿估计结果。(a)位移误差中值;(b)旋转角度误差中值

Fig. 8. Results of relative pose estimation. (a) Median position error; (b) median rotation error

5.2 绝对位姿估计仿真测试

图 9. 绝对位姿估计结果。(a)位移误差中值;(b)旋转角度误差中值

Fig. 9. Results of absolute pose estimation. (a) Median position error; (b) median rotation error

5.3 点云三角化仿真测试

图 10. 三角化结果

Fig. 10. Results of triangulation

5.4 真实场景重建实验

图 11. R29拍摄的原始图

Fig. 11. Raw images captured by R29

表 3. R29相机内参标定结果

Table 3. Intrinsic parameters of R29 camera

图 12. SIFT特征检测结果示例

Fig. 12. Illustration of detected SIFT features

图 13. 场景重建结果。(a)不带坐标轴;(b)带坐标轴

Fig. 13. Scene reconstruction results. (a) Results without coordinate axis; (b) results with coordinate axis

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

聚焦型光场相机等效多相机模型及其运动恢复结构应用下载： 1384次封面文章

图 3. 等效多目相机模型。(a) f_L>|b-B|; (b) f_L<|b-B|

Fig. 3. Equivalent multi-camera model. (a) f_L>|b-B|; (b) f_L<|b-B|