用于聚焦型光场相机标定的棋盘角点检测算法

刘青松; 谢晓方; 张烜喆; 田瑜; 李俊; 王彦; 许晓军

doi:doi:10.3788/AOS202040.1415002

光学学报, 2020, 40 (14): 1415002, 网络出版: 2020-07-23

用于聚焦型光场相机标定的棋盘角点检测算法下载： 1151次

Checkerboard Corner Detection Algorithm for Calibration of Focused Plenoptic Camera

论文大纲

刘青松 ^1,2谢晓方 ^1,*张烜喆 ²田瑜 ³李俊 ²王彦 ²许晓军 ²

作者单位

¹ 海军航空大学, 山东烟台 264001

² 国防科技大学前沿交叉学科学院, 湖南长沙 410073

³ 国防科技大学计算机学院, 湖南长沙 410073

机器视觉聚焦型光场相机角点检测标定原始图光场圆域特征 machine vision focused plenoptic camera corner detection calibration raw image plenoptic disc feature

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

精确标定能够发挥出聚焦型光场相机在场景重建和非接触测量等方面的作用。而标定精度提升的关键之一在于精确的特征提取算法。为了提升特征检测的精度和效率,提出一种基于原始图的棋盘格角点检测算法。利用稳健的角点检测算子对原始图角点进行检测,并利用二维角点与三维光场圆域特征的对应关系进行角点筛选。然后,利用图像一致性对角点进行亚像素优化。进行了仿真角点检测实验和仿真标定实验,并基于R29聚焦型光场相机得到的重建角点进行了距离测量实验。实验结果表明,所提角点检测算法的精度高于现有算法,并证明了基于所提角点检测方法的标定算法能够得到更加精准的结果。

Abstract

Accurate calibration can develop the role of a focused plenoptic camera in the fields like scene reconstruction and non-contact measurement. One of the keys to improve the calibration precision is the accurate feature extraction algorithm. In order to improve the accuracy and efficiency of feature detection, we present a checkerboard corner detection algorithm based on the raw images. First, a robust corner detection operator is used to detect the checkerboard corners in the raw images, and the corresponding relationship between the 2D corners and the 3D plenoptic disc features is used to screen the detected results. Then, the sub-pixel optimization is carried out using the image consistency. The simulated corner detection and calibration experiments are carried out, and the distance measurement experiment is also carried out based on the reconstructed corners obtained by the R29 focused plenoptic camera. The experimental results show that the accuracy of the proposed corner detection algorithm is higher than those of the existing algorithms, and the calibration algorithm based on the proposed corner detection algorithm can achieve more accurate results.

1 引言

光场相机通过使用微透镜阵列(MLA),可同时获得光线在空间和角度上的分布信息。这种能力使得光场相机广泛应用于计算机视觉^[1]、机器人^[2] 、医学成像^[3]等多个领域。根据MLA的放置位置,光场相机可以被分为非聚焦型光场相机^[4]和聚焦型光场相机^[5]。其中多焦距聚焦型光场相机^[6]通过使用多焦距的微透镜阵列来进一步提高相机的景深范围。本文的研究对象为聚焦型光场相机。

精确标定能够发挥出聚焦型光场相机在场景重建和非接触测量等方面的作用^[7]。而特征检测作为标定中的重要一环,其结果直接影响后续的标定精度。Johannsen等^[8-9]通过在全聚焦图像上提取圆点特征,并结合深度图对理想3D圆点和重建3D圆点的空间距离进行最小化处理,进而对相机参数进行标定。Strobl等^[10]提出了基于张正友标定法^[11]的分布标定算法,该算法使用平面棋盘格标定板的角点作为标定特征。Zeller等^[12-13]提出了基于3D标定目标的标定算法。上述工作中的标定特征都是从全聚焦图像中提取的。然而,在原始图上进行特征提取是一个更加精确和高效的方式。此外,上述标定模型^{[8-10, 12]}忽略了微透镜中心和微透镜图像中心的差异,这一点会影响标定的精确度。Bok等^[14]把原始图中的棋盘格直线作为特征,并给出了更加准确的几何投影模型。相比于圆点标定目标,棋盘格的直线和角点特征更容易在微透镜图像中完整显示。Zhang等^[15]提出了一个通用的多重投影中心模型,该模型能够应用于聚焦型和非聚焦型光场相机中。Nousias等^[16]提出了一个作用在原始图上的角点检测算法。但是当角点位于微透镜图像边缘的时候,该检测方法容易失效,且该方法并没有利用对极几何约束来优化检测结果。O'Brien等^[17]提出了作用于子孔径图像上的角点检测算法,并提出了光场圆域特征^[17]的概念,该算法的优势在于光场圆域特征能够在标定前得到准确计算。但是该方法需要通过插值来得到子孔径图像,这会给特征提取的精度带来影响。

为了进一步提高特征检测精度,本文提出了一个稳健精确的角点检测方法。利用稳健的角点检测算子在原始图中进行角点检测,并利用基于RANSAC^[18]的算法剔除错误检测的角点,然后利用图像一致性进行角点位置的亚像素优化。仿真和实际实验结果证明,所提角点检测精度高于传统的角点检测算法,并且通过基于所提角点检测算法的标定能够实现更高精度的参数估计结果。这为聚焦型光场相机的应用提供了参考。

2 光场相机的基本原理

2.1 相机模型

本文采用的聚焦型光场相机模型如图1(a)所示。空间中任意一点P发射出的光线,经过主透镜的折射后,在微透镜后侧(或前侧)会聚形成成像点Q。点M表示过P、Q两点的直线和传感器的交点。其中f_L表示主镜头的焦距,B表示MLA和传感器的距离,b表示主镜头和传感器的距离。成像点Q通过不同的微透镜会在传感器上形成多个投影点,如图1(b)所示。本文原始图像素坐标系uov的建立如图1(b)所示。

图 1. 相机成像模型。 (a)主透镜成像示意图; (b)微透镜成像示意图

Fig. 1. Camera imaging model. (a) Imaging diagram of main lens; (b) imaging diagram of micro-lenses

下载图片查看所有图片

2.2 光场圆域特征

本文的角点检测算法是通过光场圆域特征^[17]来描述原始图中各个二维角点之间的对极几何关系。光场圆域特征满足

[\begin{array}{l} 1 & 0 & (p_{u} - i_{u}) \\ 0 & 1 & (p_{v} - i_{v}) \end{array}] {[\begin{array}{l} M_{u} & M_{v} & R \end{array}]}^{T} = [\begin{array}{l} i_{u} \\ i_{v} \end{array}], (1)

式中:[ $\begin{array}{l} M_{u} & M_{v} & R \end{array}$ ]表示光场圆域特征,其中(M_u,M_v)表示光场圆域中心在uov中的坐标,R表示光场圆域半径;(p_u,p_v)和(i_u,i_v)分别表示在原始图像素坐标系uov中二维角点的坐标和其对应的微透镜图像中心的坐标。能够对点Q成像的微透镜图像中心和(M_u,M_v)的最大像素距离表示为Rr_i,其中r_i表示微透镜图像半径。为了方便表述,本文使用PDF作为光场圆域特征的简写。给定点Q的两个不同二维投影点后,就可以利用最小二乘法通过(1)式计算出PDF。同样,给定了PDF,可以计算出点Q的所有投影点,即

\{\begin{array}{l} p_{u} = (i_{u} - M_{u}) / R + i_{u} \\ p_{v} = (i_{v} - M_{v}) / R + i_{v} \end{array} 。 (2)

2.3 相机标定

本文采用的标定方法最早为Bok等^[14]提出的,后续Nousias等^[16-17]采用了与Bok等^[14]一致的相机内参,但是使用了不同的图像特征。该标定方法具体的内参集合为{f_x,f_y,c_u,c_v,K₁,K₂},其中针孔相机焦距f_x=b/s_x,f_y=b/s_y,(s_x,s_y)表示传感器上像素的物理尺寸,(c_u,c_v)表示主镜头的主点在uov中的像素坐标,K₁和K₂的具体定义为K₁=[f_L-(b-B)]b/(Bf_L),K₂=[(b-B)b]/B。内参f_x、f_y、c_u和c_v类似于针孔相机模型的内参,而内参K₁和K₂描述的是光场相机区别于针孔相机的特性。具体的标定方法请参考文献[ 14,16-17]。利用标定参数,可以将PDF投影到真实空间:

{[\begin{array}{l} M_{u} & M_{v} & R \end{array}]}^{T} = {[\begin{array}{l} f_{x} \frac{P_{x}}{P_{z}} + c_{u} & f_{y} \frac{P_{y}}{P_{z}} + c_{v} & - \frac{K_{2}}{P_{z}} - K_{1} \end{array}]}^{T}, (3)

式中:(P_x,P_y,P_z)表示特征点在相机坐标系的物理坐标。

3 角点特征检测算法

在聚焦型光场相机中,微透镜下的微透镜图像分辨率很低,所以在原始图上进行角点检测十分困难。在检测过程中,正确的角点常常淹没在了错误检测点中。但是随着光场圆域半径^[17]的增大,同一个三维空间点投影得到的二维角点逐渐变多。因此,以对极几何约束作为筛选角点的限制条件。

3.1 中心子孔径图像上的初步角点检测

为了提高角点检测的效率,本文首先在中心子孔径上初步检测角点,并在原始图上划定感兴趣区域(ROI)。本文中心子孔径图像的维度是原始图的1/2r_i。本文首先采用Bok等^[14]提出的方法来消除原始图的渐晕效应,得到了子孔径图像。随后,利用Geiger等^[19]提出的棋盘格角点检测算法来检测中心子孔径图像上的角点坐标(p_s,p_t)。进一步,光场圆域中心在原始图上的大致坐标可以表示为( ${\hat{M}}_{u}$ , ${\hat{M}}_{v}$ )=2r_i(p_s,p_t)。选择距离( ${\hat{M}}_{u}$ , ${\hat{M}}_{v}$ )最近的N个微透镜图像所在矩形区域作为后续角点检测的ROI。

3.2 原始图像上的精确角点检测

对于ROI中的图像,计算Geiger等^[19]提出的角点可能性分布图C,并使用非极大值抑制^[20]对角点进行提取,得到的检测结果如图2(a)所示。从图2中可以看到,检测结果中包含了大量的错误检测点。其中正确的角点满足对极几何的约束条件,而错误检测点大多出现在微透镜图像的边缘部分。根据这一特性,首先剔除位于微透镜边缘部分的检测点。对于坐标为(p_u,p_v)的任意检测点,如果满足 ${((p_{u}, p_{v}) - (i_{u}, i_{v}))}_{2}$ >r_i-t_edge,则将该检测点剔除,其中t_edge表示微透镜图像边缘的宽度。检测效果如图2(b)所示。

图 2. 角点检测结果。(a)初始角点检测结果; (b)去除微透镜边缘角点后的结果; (c) RANSAC算法拟合后的候选角点;(d)优化后的投影角点

Fig. 2. Corner detection results. (a) Initial corner detection result; (b) result after removal of corners on edges of micro-lenses; (c) candidate corners fitted by RANSAC algorithm; (d) projected corners after optimization

下载图片查看所有图片

随后,本文利用RANSAC算法^[18]对剩余的候选角点进行PDF的拟合。首先遍历并选择两个不同的候选角点p¹和p²,并根据(1)式计算PDF。进一步,根据(2)式可以计算出该PDF在原始图上的投影点。与任何投影点的距离小于t_inner的候选角点被认为是当前PDF对应的内点,其中t_inner表示内点与投影点的最大距离。遍历结束后,具有最大内点数的PDF被认为是最佳拟合结果P_B。注意,当拟合结果的内点数量小于阈值t_num时,则认为当前ROI没有角点被检测出,其中t_num表示拟合PDF的最少内点数量。经过RANSAC算法拟合后,P_B内点的示例如图2(c)所示。

前文3.1节中使用的ROI默认包含了N个微透镜图像。但是在实际过程中,同一个空间角点可能在原始图中超过N个微透镜图像的范围内进行成像。为了检测出更多角点,本文根据拟合出的最佳光场圆域特征P_B=( ${M^{B}}_{u}$ , ${M^{B}}_{v}$ ,R^B)和成像范围R^Br_i重新划定ROI,并再次检测角点,其中( ${M^{B}}_{u}$ , ${M^{B}}_{v}$ )表示最佳拟合的光场圆域中心,R^B表示最佳拟合的光场圆域半径。随后,选择候选角点中与P_B投影点距离小于t_proj的点为新ROI中的检测角点,并记为D_B,其中t_proj表示正确检测角点与投影点的最大像素距离。

3.3 光场圆域特征的优化

ROI中所有正确的角点和同一个光场圆域特征PDF相关联,所以对角点的优化等同于对PDF的优化。因此,本文对PDF进行优化,并把优化后的PDF在原始图的投影点作为最终的检测角点,结果如图2(d)所示。

本文在检测结果D_B上应用亚像素优化。使用二元二次函数来拟合角点可能性分布图C中角点附近的图像块,并把局部最大值的对应位置作为优化后的检测结果。根据优化后的角点,可以利用最小二乘法计算出优化后的PDF,记为P_r=( ${M^{r}}_{u}$ , ${M^{r}}_{v}$ ,R^r),其中( ${M^{r}}_{u}$ , ${M^{r}}_{v}$ )表示优化后的光场圆域中心,R^r表示优化后的光场圆域半径。亚像素优化后,多焦距聚焦型光场相机的原始图ROI中存在聚焦程度不同的角点,需要使用ROI中最清晰的角点来优化PDF。为此,本文使用Fleischmann等^[21]提出的方法对微透镜按照焦距进行分类。然后,以Tenengrad函数^[22]作为角点清晰度的评价指标,选择当前ROI中聚焦程度最好的一类微透镜下的清晰角点,并据此计算优化后的PDF即P_r。

从(2)式可以看出,光场圆域半径R的计算误差会对二维角点位置的计算产生很大影响。当 ${((i_{u}, i_{v}) - (M_{u}, M_{v}))}_{2}$ 越大时,角点坐标的计算误差越大。因此,R需要进一步的优化。对于给定的P_r,本文固定( ${M^{r}}_{u}$ , ${M^{r}}_{v}$ )的取值并在[R^r-mδR,R^r+mδR]范围内寻找最佳的R取值,共计取值(2m+1)次,其中δR表示优化步长。对于每一个R取值,可以通过(2)式得到投影角点的位置坐标。计算两个不同投影角点附近的图像块的绝对差值和(SAD)来衡量图像相似性,并将所有角点对的平均SAD作为R的选择标准。选择最小平均SAD对应的R作为最终优化结果。值得注意的是,对于多焦距聚焦型光场相机,本文使用最清晰的角点来进行R的优化。最终,本文将优化后的PDF在原始图上的投影点作为最终的角点检测结果。

4 实验与验证

为了验证所提角点检测算法的精确性和有效性,本文进行了相应的仿真和真实实验。实验代码运行在win7操作系统上的MATLAB软件上。实验所用电脑的CPU为因特尔公司的i7-7700(3.6 GHz)。

4.1 角点检测仿真实验

本文将Nousias等^[16]和O'brien等^[17]提出的角点检测算法与本文提出的算法在仿真数据集上进行对比分析。利用多焦距聚焦型光场相机拍摄棋盘格标定板,通过光纤追踪方法^[23]仿真得到了140张原始图。相机的仿真参数如表1所示, 其中f_m表示微透镜的焦距。图像的仿真条件包含了不同程度的模糊、光照、畸变、渐晕以及噪声,仿真的示例图像如图3所示。

表 1. 多焦距聚焦型光场相机的仿真参数

Table 1. Simulation parameters of multi-focus plenoptic camera

Parameter	${f_{L}}_{}$ /mm	b /mm	B /mm	${s_{x}}_{}$ /μm	${s_{y}}_{}$ /μm	${r_{i}}_{}$ /pixel	${f_{m}}_{}$ /mm
Value	100	103.32	1.32	5	5	17	1.62, 1.92, 2.35

查看所有表

图 3. 角点检测结果示例。(a)含有噪声的情况下; (b)图像含有较大镜头畸变的情况;(c)同一微透镜图像中存在多个角点的情况; (d)漏检的情况

Fig. 3. Examples of corner detection results. (a) Case with image noise; (b) case with image suffering from large lens distortion; (c) case with multiple corners in one micro-image; (d) case with missed detection

下载图片查看所有图片

本文使用的评价指标包括检测的召回率(recall)、准确率(precision)、平均检测误差(mean)、检测标准差(Std.)及检测时间。对于原始图上一个给定的仿真角点,如果其周围最近的检测角点和该仿真角点的距离小于3 pixel,那么该检测角点被认为是正确检测的角点。记所有正确检测角点的数量为 ${N^{s}}_{d}$ ,所有仿真角点的数量为 ${N^{t}}_{gt}$ ,所有检测角点的数量为 ${N^{t}}_{d}$ 。在此基础上,定义准确率为 ${N^{s}}_{d}$ / ${N^{t}}_{d}$ ×100%,定义召回率为 ${N^{s}}_{d}$ / ${N^{t}}_{gt}$ ×100%。平均检测误差和检测标准差只针对正确检测的角点进行计算。在实验中,本文算法中的参数的具体取值如下:t_edge=5 pixel,t_inner=1.5 pixel,t_proj=2 pixel,N=35,t_num=3。具体的评估指标结果如表2所示。根据实验结果,可以得出如下分析:1)本文检测算法较为稳健,能够在有噪声、低光照、畸变、模糊和有渐晕的条件下得到较好的检测结果;2)本文检测算法能够在保证较高召回率的情况下实现较高的准确率,这进一步说明了本文算法的稳健性;3)本文算法的检测精度高于其他算法,这可以从平均检测误差和标准差看出;4)本文算法相比于其他算法具有较好的执行效率。

表 2. 仿真数据集上的角点检测结果

Table 2. Corner detection results on simulated datasets

Detection method	Recall /%	Precision /%	Mean /pixel	Std. /pixel	Time /s
Method in Ref. [16]	14.81	85.31	1.302	0.598	205920.73
Method in Ref. [17]	30.96	39.21	0.822	0.404	1232.90
Proposed method	59.47	99.26	0.276	0.218	958.44

查看所有表

图3给出了仿真实验中本文算法的检测示例。当光场圆域半径R较大的时候,即便存在较大的拍摄角度、噪声或者图像畸变,本文算法仍能得到较好的检测结果,如图3(a)~(c)所示。但是当R较小的时候,本文算法可能无法给出准确的检测结果,如图3(d)所示。这是因为感兴趣区域中的角点数量较少,无法有效通过对极几何约束进行角点筛选。根据实验数据可知,当 $|R|$ <3时,算法可能出现漏检或者误检的情况。可以通过将标定板放置在距离相机较近的位置来避免这种情况的发生。与此同时,在标定的过程中可以剔除 $|R|$ 取值较小的图像。

根据上述分析,可以得出如下结论:相比于现有算法,本文的角点检测算法在检测精度和稳健性上有所提升,并保持了较好的计算效率,且本文算法的检测精度能够随着光场圆域半径的增大而提高。

4.2 仿真标定实验

在仿真数据上进行标定实验,以此来验证本文的角点检测算法能够对聚焦型光场相机的标定精度起到提升作用。仿真的相机参数与表1中的相关参数设置保持一致。棋盘格标定板包含了8×12个角点,角点间的水平和垂直间距均为10 mm。相机与标定板保持在1 m左右的距离,共计仿真8张图像,具体的仿真图片示例如图4所示。

图 4. 仿真标定图像示例

Fig. 4. Examples of images used in simulated calibration

下载图片查看所有图片

本文分别使用Nousias等^[16]和O'brien等^[17]的角点检测和标定方法来进行仿真实验。具体的标定结果如表3所示,其中f_x、f_y、K₁、K₂、c_u和c_v为文献[ 14,16-17]中给出的相机内参, 本文方法(Ours)使用的是本文提出的角点检测方法结合Nousias等^[16]的标定方法。MRE表示平均重投影误差,用来衡量实际检测出的角点和依据标定参数计算的理想投影角点之间的平均像素距离。根据标定结果可以看出,通过本文标定算法得到的检测结果更接近真值(GT),并且计算得到的MRE最小。同时,本文还利用Bok等^[14]的直线检测和标定方法作为参照。实验结果表明,基于本文角点检测算法的标定结果要优于目前基于直线特征的标定算法。因为基于直线特征的标定算法不便于计算MRE,所以表3中没有记录。

表 3. 仿真数据集的标定结果

Table 3. Calibration results on simulated datasets

Calibration method	f_x	f_y	K₁	K₂	c_u	c_v	MRE /pixel
Method in Ref.[14]	19157.44	19158.12	-2.2119	7785.69	1476.69	982.36	-
Method in Ref.[16]	19095.37	19108.32	-2.1125	7789.89	1513.71	850.76	0.6609
Method in Ref.[17]	18979.45	18953.44	-2.4074	8083.23	1507.34	937.27	0.2325
Ours	19018.93	19028.72	-2.5763	8208.05	1485.49	976.05	0.1245
GT	19002.02	19002.02	-2.5265	8170.16	1500.00	1000.00	-

查看所有表

4.3 真实标定实验

为了进一步验证本文的角点检测算法对于标定精度的提升作用,本文对Raytrix公司的多焦距聚焦型光场相机R29进行标定实验。由于真实标定实验中无法获得相机参数的真值,本文通过测距实验来评估重建角点的精度,以此来间接验证角点检测算法的精度。

实验中分别使用Bok等^[14]、Nousias等^[16]、O'brien等^[17]提出的方法来进行标定,得到的标定结果如表4所示。基于标定参数可以根据(3)式将PDF换算到真实空间。

表 4. R29真实数据集上的标定结果

Table 4. Calibration results on R29 real dataset

Calibration method	f_x	f_y	K₁	K₂	c_u	c_v
Method in Ref.[14]	18513.01	18409.14	-2.8995	8728.17	3341.39	2183.02
Method in Ref.[16]	18609.03	18507.01	-2.6519	8592.60	3349.40	2229.08
Method in Ref.[17]	18513.01	18409.14	-2.8995	8728.17	3341.39	2183.02
Ours	18475.13	18374.66	-2.3976	7946.74	3377.06	2230.79

查看所有表

在标定实验完成后,本文将棋盘格标定板固定在光学移动平台上进行多次移动,如图5(a)所示。实验中,标定板共计移动8次,每次移动100 mm。由于标定板和相机的绝对距离不方便测量,本文以各帧图像和第一帧图像之间的相对距离作为测量指标,如图5(b)所示。

图 5. 测距实验装置及原理示意。(a)实验平台;(b)相对距离

Fig. 5. Experimental device and principle diagram of distance measurement. (a) Experiment platform; (b) relative distance

下载图片查看所有图片

由于Bok等^[14]和Nousias等^[16]的方法没有涉及到PDF的计算,因此这里采用本文和O'brien等^[17]提出的检测方法来计算上述8帧图像中棋盘格角点的PDF。根据表4中的标定结果,将得到的PDF换算到真实空间。图6显示的重建结果分别是基于本文方法得到的PDF和标定参数以及由O'brien等^[17]的方法得到的PDF和标定参数,其中X、Y、Z分别为重建点相对于相机中心的横向位移、纵向位移及在主光轴方向上的位移。为了清晰显示,本文对重建角点进行了网格化处理。可以看到,本文结果比基于O'brien等^[17]算法得到的更加平滑,这验证了本文角点检测算法的稳健性。

图 6. 角点重建结果。(a)本文结果;(b)参考文献[ 17]的结果

Fig. 6. Reconstruction results of corners. (a) Our result; (b) result from Ref. [17]

下载图片查看所有图片

为了量化评估角点的重建精度,本文首先计算各帧内重建3D角点与第一帧对应位置3D角点的相对距离,再用当前相对距离减去真值得到相对距离误差。计算除第一帧外所有帧中所有点的平均距离误差D_mean和标准差D_std并将其作为评估指标,具体的距离测试结果如表5所示。从实验结果可以看到,基于本文参数估计结果和本文计算的PDF得到的重建结果要优于其他方法。这证明了本文角点检测算法的精度,并说明了本文的检测算法能有效提高标定的精确度。

表 5. 距离测试结果

Table 5. Results of distance measurement

Detection method	Calibration method	${D_{mean}}_{}$ /mm	${D_{std}}_{}$ /mm
Method in Ref. [17]	Method in Ref. [14]	3.45	13.98
	Method in Ref. [16]	9.75	14.15
	Method in Ref. [17]	2.35	14.85
	Ours	3.12	14.52
Proposed method	Method in Ref. [14]	3.85	3.68
	Method in Ref. [16]	8.48	3.84
	Method in Ref. [17]	4.35	3.58
	Ours	1.24	3.36

查看所有表

5 结论

针对聚焦型光场相机标定中的特征提取问题,提出了一种精确的棋盘格角点检测算法。算法首先在原始图中划定感兴趣区域并进行角点检测。随后利用对极几何关系对角点进行筛选,并利用图像一致性进行光场圆域特征的优化,最终把优化后的光场圆域特征的投影点作为角点检测结果。对于多焦距聚焦型光场相机,所提算法能够自适应地利用最清晰的角点进行结果的优化。仿真实验和真实实验的结果表明,所提算法的检测精度高于目前现有的角点检测算法,可以提高聚焦型光场相机的标定精度。在下一步的工作中,计划将检测算法进一步扩展,使其能对非聚焦型光场相机的原始图进行角点检测。

参考文献

[1] Park I K, Lee K M. Robust light field depth estimation using occlusion-noise aware data costs[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(10): 2484-2497.

[2] Dansereau DG, MahonI, PizarroO, et al. Plenoptic flow: closed-form visual odometry for light field cameras[C]∥2011 IEEE/RSJ International Conference on Intelligent Robots and Systems, September 25 - 30, 2011, San Francisco, CA, USA. New York: IEEE, 2011: 4455- 4462.

[3] Bedard N, Shope T R, Hoberman A, et al. Light field otoscope design for 3D in vivo imaging of the middle ear[J]. Biomedical Optics Express, 2017, 8(1): 260-272.

[4] NgR. Digital light field photography[D]. Stanford: Stanford University, 2006: 6- 8.

[5] LumsdaineA, GeorgievT. The focused plenoptic camera[C]∥2009 IEEE International Conference on Computational Photography (ICCP), April 16-17, 2009, San Francisco, CA, USA. New York: IEEE, 2009: 1- 8.

[6] GeorgievT, LumsdaineA. The multifocus plenoptic camera[C]∥Digital Photography VIII. International Society for Optics and Photonics, January 24, 2012, Burlingame, CA, United States. Bellingham: SPIE, 2012, 8299: 829908.

[7] 孙俊阳, 孙俊, 许传龙, 等. 一种基于光场图像的聚焦光场相机标定方法[J]. 光学学报, 2017, 37(5): 0515002.

Sun J Y, Sun J, Xu C L, et al. A calibration method of focused light field cameras based on light field images[J]. Acta Optica Sinica, 2017, 37(5): 0515002.

[8] JohannsenO, HeinzeC, GoldlueckeB, et al. On the calibration of focused plenoptic cameras[M] ∥Grzegorzek M, Theobalt C, Koch R, et al. Time-of-flight and depth imaging. Sensors, algorithms, and applications. Lecture notes in computer science. Heidelberg: Springer, 2013, 8200: 302- 317.

[9] HeinzeC, SpyropoulosS, HussmannS, et al. Automated robust metric calibration of multi-focus plenoptic cameras[C]∥2015 IEEE International Instrumentation and Measurement Technology Conference (I2MTC) Proceedings, May 11-14, 2015, Pisa, Italy. New York: IEEE, 2015: 2038- 2043.

[10] Strobl K H, Lingenauber M. Stepwise calibration of focused plenoptic cameras[J]. Computer Vision and Image Understanding, 2016, 145: 140-147.

[11] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[12] ZellerN, Noury CA, QuintF, et al., RemoteSensing and Spatial InformationSciences, 2016, III-3: 449- 456.

[13] Zeller N, Quint F, Stilla U. From the calibration of a light-field camera to direct plenoptic odometry[J]. IEEE Journal of Selected Topics in Signal Processing, 2017, 11(7): 1004-1019.

[14] Bok Y, Jeon H G, Kweon I S. Geometric calibration of micro-lens-based light field cameras using line features[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(2): 287-300.

[15] Zhang Q, Zhang C P, Ling J B, et al. A generic multi-projection-center model and calibration method for light field cameras[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2019, 41(11): 2539-2552.

[16] NousiasS, ChadebecqF, PichatJ, et al. Corner-based geometric calibration of multi-focus plenoptic cameras[C]∥2017 IEEE International Conference on Computer Vision (ICCV), October 22-29, 2017, Venice, Italy. New York: IEEE, 2017: 957- 965.

[17] O'brienS, TrumpfJ, IlaV, et al. Calibrating light-field cameras using plenoptic disc features[C]∥2018 International Conference on 3D Vision (3DV), September 5-8, 2018, Verona, Italy. New York: IEEE, 2018: 286- 294.

[18] Fischler M A, Bolles R C. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography[J]. Readings in Computer Vision, 1987: 726-740.

[19] GeigerA, MoosmannF, CarÖ, et al. Automatic camera and range sensor calibration using a single shot[C]∥2012 IEEE International Conference on Robotics and Automation, May 14-18, 2012, Saint Paul, MN, USA. New York: IEEE, 2012: 3936- 3943.

[20] NeubeckA, Van GoolL. Efficient non-maximum suppression[C]∥18th International Conference on Pattern Recognition (ICPR'06), August 20-24, 2006, Hong Kong, China. New York: IEEE, 2006, 3: 850- 855.

[21] FleischmannO, KochR. Lens-based depth estimation for multi-focus plenoptic cameras[M] ∥Jiang X, Hornegger J, Koch R. Pattern recognition. Lecture notes in computer science. Cham: Springer, 2014, 8753: 410- 420.

[22] Pertuz S, Puig D, Garcia M A. Analysis of focus measure operators for shape-from-focus[J]. Pattern Recognition, 2013, 46(5): 1415-1432.

[23] MichelsT, PetersenA, KochR. Creating realistic ground truth data for the evaluation of calibration methods for plenoptic and conventional cameras[C]∥2019 International Conference on 3D Vision (3DV), September 16-19, 2019, Québec City, QC, Canada. New York: IEEE, 2019: 434- 442.

刘青松, 谢晓方, 张烜喆, 田瑜, 李俊, 王彦, 许晓军. 用于聚焦型光场相机标定的棋盘角点检测算法[J]. 光学学报, 2020, 40(14): 1415002. Qingsong Liu, Xiaofang Xie, Xuanzhe Zhang, Yu Tian, Jun Li, Yan Wang, Xiaojun Xu. Checkerboard Corner Detection Algorithm for Calibration of Focused Plenoptic Camera[J]. Acta Optica Sinica, 2020, 40(14): 1415002.

用于聚焦型光场相机标定的棋盘角点检测算法下载： 1151次

1 引言

2 光场相机的基本原理

2.1 相机模型

图 1. 相机成像模型。 (a)主透镜成像示意图; (b)微透镜成像示意图

Fig. 1. Camera imaging model. (a) Imaging diagram of main lens; (b) imaging diagram of micro-lenses

2.2 光场圆域特征

2.3 相机标定

3 角点特征检测算法

3.1 中心子孔径图像上的初步角点检测

3.2 原始图像上的精确角点检测

图 2. 角点检测结果。(a)初始角点检测结果; (b)去除微透镜边缘角点后的结果; (c) RANSAC算法拟合后的候选角点;(d)优化后的投影角点

Fig. 2. Corner detection results. (a) Initial corner detection result; (b) result after removal of corners on edges of micro-lenses; (c) candidate corners fitted by RANSAC algorithm; (d) projected corners after optimization

3.3 光场圆域特征的优化

4 实验与验证

4.1 角点检测仿真实验

表 1. 多焦距聚焦型光场相机的仿真参数

Table 1. Simulation parameters of multi-focus plenoptic camera

图 3. 角点检测结果示例。(a)含有噪声的情况下; (b)图像含有较大镜头畸变的情况;(c)同一微透镜图像中存在多个角点的情况; (d)漏检的情况

Fig. 3. Examples of corner detection results. (a) Case with image noise; (b) case with image suffering from large lens distortion; (c) case with multiple corners in one micro-image; (d) case with missed detection

表 2. 仿真数据集上的角点检测结果

Table 2. Corner detection results on simulated datasets

4.2 仿真标定实验

图 4. 仿真标定图像示例

Fig. 4. Examples of images used in simulated calibration

表 3. 仿真数据集的标定结果

Table 3. Calibration results on simulated datasets

4.3 真实标定实验

表 4. R29真实数据集上的标定结果

Table 4. Calibration results on R29 real dataset

图 5. 测距实验装置及原理示意。(a)实验平台;(b)相对距离

Fig. 5. Experimental device and principle diagram of distance measurement. (a) Experiment platform; (b) relative distance

图 6. 角点重建结果。(a)本文结果;(b)参考文献[ 17]的结果

Fig. 6. Reconstruction results of corners. (a) Our result; (b) result from Ref. [17]

表 5. 距离测试结果

Table 5. Results of distance measurement

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

用于聚焦型光场相机标定的棋盘角点检测算法 下载： 1151次

1 引言

2 光场相机的基本原理

2.1 相机模型

图 1. 相机成像模型。 (a)主透镜成像示意图; (b)微透镜成像示意图

Fig. 1. Camera imaging model. (a) Imaging diagram of main lens; (b) imaging diagram of micro-lenses

2.2 光场圆域特征

2.3 相机标定

3 角点特征检测算法

3.1 中心子孔径图像上的初步角点检测

3.2 原始图像上的精确角点检测

图 2. 角点检测结果。(a)初始角点检测结果; (b)去除微透镜边缘角点后的结果; (c) RANSAC算法拟合后的候选角点;(d)优化后的投影角点

Fig. 2. Corner detection results. (a) Initial corner detection result; (b) result after removal of corners on edges of micro-lenses; (c) candidate corners fitted by RANSAC algorithm; (d) projected corners after optimization

3.3 光场圆域特征的优化

4 实验与验证

4.1 角点检测仿真实验

表 1. 多焦距聚焦型光场相机的仿真参数

Table 1. Simulation parameters of multi-focus plenoptic camera

图 3. 角点检测结果示例。(a)含有噪声的情况下; (b)图像含有较大镜头畸变的情况;(c)同一微透镜图像中存在多个角点的情况; (d)漏检的情况

Fig. 3. Examples of corner detection results. (a) Case with image noise; (b) case with image suffering from large lens distortion; (c) case with multiple corners in one micro-image; (d) case with missed detection

表 2. 仿真数据集上的角点检测结果

Table 2. Corner detection results on simulated datasets

4.2 仿真标定实验

图 4. 仿真标定图像示例

Fig. 4. Examples of images used in simulated calibration

表 3. 仿真数据集的标定结果

Table 3. Calibration results on simulated datasets

4.3 真实标定实验

表 4. R29真实数据集上的标定结果

Table 4. Calibration results on R29 real dataset

图 5. 测距实验装置及原理示意。(a)实验平台;(b)相对距离

Fig. 5. Experimental device and principle diagram of distance measurement. (a) Experiment platform; (b) relative distance

图 6. 角点重建结果。(a)本文结果;(b)参考文献[ 17]的结果

Fig. 6. Reconstruction results of corners. (a) Our result; (b) result from Ref. [17]

表 5. 距离测试结果

Table 5. Results of distance measurement

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

用于聚焦型光场相机标定的棋盘角点检测算法下载： 1151次