边缘复杂光场图像的深度估计散焦响应函数优化

武迎春; 程星; 谢颖贤; 王安红

doi:doi:10.3788/LOP57.181027

激光与光电子学进展, 2020, 57 (18): 181027, 网络出版: 2020-09-02

边缘复杂光场图像的深度估计散焦响应函数优化下载： 1002次

Defocusing Response Function Optimization in Depth Estimation of Boundary Complex Light Field Image

论文大纲

武迎春程星 ^*谢颖贤王安红

作者单位

太原科技大学电子信息工程学院, 山西太原 030024

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

散焦结合相关性评价算法是利用四维光场的空间信息和角度信息来完成深度估计,该算法建立的散焦响应函数存在求取二阶导方向有限且二阶导求和能量正负相互抵消的问题,这限制了其在复杂场景中的深度重建精度。针对该问题,对散焦响应函数进行了改进,提出基于能量增强散焦响应的光场深度估计算法。该算法充分考虑了周边像素点对当前位置散焦度的影响,通过增加具有权重差异的二阶导个数和方向来实现散焦响应的能量增强。通过实验验证了所提方法的有效性。针对一些边缘复杂的光场图像,所提算法获取的深度图视觉效果更好;与散焦评价结合相关性评价算法相比,改进算法获得深度图像的均方根误差平均减小3.95%。

Abstract

The defocus and correspondence (DCDC) algorithm uses the spatial information and angular information of four-dimensional light field to complete depth estimation. The defocus response function established by the DCDC algorithm has the problems of limited second-order derivative direction and positive and negative energy offset, which limit its depth reconstruction accuracy in complex scenes. Aiming at the problems, the defocusing response function is improved, and a light field depth estimation algorithm based on energy enhanced defocusing response is proposed. The algorithm fully considers the influences of the surrounding pixels on the defocusing degree of the current position, and realizes the energy enhancement of the defocusing response by increasing the number and direction of second-order derivatives with different weights. Experiments verify the effectiveness of the proposed method. For some light field images with complex boundaries, the depth map obtained by the proposed algorithm has better visual effects. Compared with the DCDC algorithm, the root mean square error of the depth image obtained by the proposed method decreases by 3.95% on average.

1 引言

光场渲染理论的不断发展及全光函数的不断演化,使得光场成像成为现代计算摄影学中的一个热点话题。不同于传统相机的结构设计,微透镜光场相机基于光场双平面表示模型,通过在主透镜与成像面中间添加微透镜阵列^[1]来实现四维(4D)光场数据的获取。该4D光场不仅记录了传统相机获得的空间光线的位置信息(x,y),同时记录了光线的方向信息(s,t)。光场相机单次曝光可完成空间光线四维信息的记录,所得到的光场图像在基于光场图像进行数字重聚焦^[2]、多视点图像提取^[3]、多聚焦图像融合^[4-6]、图像超分辨率重建^[7]等应用中具有重要意义。另外,基于光场数字重聚焦理论发展起来的深度估计算法,仅需一张光场原图像即可完成深度信息的计算,近年来引起光学三维传感领域诸多学者的普遍关注。

目前,基于光场图像的深度估计算法主要分为三类:立体匹配法^[8-10]、EPI(Epipolar-Plane Image)算法^[11-12]和散焦(DFD)法^[13-14]。基于光场子孔径图像^[3]的立体匹配算法,通过视差与深度信息的对应关系完成深度图像估计。Jeon等^[3]通过计算子孔径图像相位亚像素位移实现了深度估计。受微透镜光场相机结构设计的限制,由从光场原图像中解码出来的子孔径图像形成多视点图像,多视点图像间基线距离较短且每个视点对应图像的分辨率有限等问题限制了立体匹配法的深度估计精度提升。EPI算法将多幅存在单一方向视差的子孔径图像进行堆叠,形成立方体,并通过沿一定方向切割立方体形成EPI截面,利用EPI图像极线斜率与目标场景深度成比例的关系完成深度估计。Li等^[15]通过EPI结构张量计算、解稀疏线性系统完成平滑深度图像的获取,Zhang等^[11]采用自旋转平行四边形来获得EPI的斜率,该方法对于不连续区域有较好的深度重建效果。该类算法由于需要准确估计EPI图像每一像素点所在极线的斜率,图像局部特征不完备是导致算法复杂度高、实时性差的主要原因。DFD法通过对同一目标场景聚焦深度不同的多张多聚焦图像进行散焦度对比来完成深度估计,Bishop和Favaro^[16]提出的基于非局部均衡化滤波正则化深度估计就是基于此原理。

针对光场图像特性,在充分分析各类深度获取算法的优缺点后,Tao等^[17]提出了基于散焦评价结合相关性评价(DCDC)的深度获取算法,该算法充分利用了散焦响应局部抗噪能力强和相关性响应全局边界准确的优点,采用马尔可夫优化理论完成了散焦深度图与相关性深度图的融合,使得最终深度图的质量大大提高。但该方法在利用散焦评价获取深度时,所采用的拉普拉斯算子只考虑了空间信息水平、垂直方向的二阶导,且存在二阶导求和时能量相互抵消的问题,这影响了算法应用于边缘复杂光场深度图像的获取精度。基于此,本文对散焦评价函数进行了改进,提出基于能量增强散焦评价方法来提高基于散焦法获得深度图的质量,进而提高最终深度图的获取精度。

2 散焦评价结合相关性评价的深度获取原理

散焦评价结合相关性评价的深度获取框架如图1所示。对光场相机进行微透镜中心标定后,可以从光场原图像中解码出4D光场L₀(x₀,y₀,s₀,t₀)。根据光场双平面表示模型及数字重聚焦理论^[1],当改变光场相机成像平面(像距)的位置时,由相机记录的新的成像深度处(物距)的光场 $L_{α_{n}} (x, y, s, t) 与原光场 L_{0} (x_{0}, y_{0}, s_{0}, t_{0})$ 的坐标存在以下关系^[1]:

[x, y, s, t] = [x_{0}, y_{0}, s_{0}, t_{0}] \cdot [\begin{array}{l} α_{n} & 0 & 0 & 0 \\ 0 & α_{n} & 0 & 0 \\ 1 - α_{n} & 0 & 1 & 0 \\ 0 & 1 - α_{n} & 0 & 1 \end{array}], (1)

式中:α_n表示像平面移动距离的比例系数,n=0,1,2,…,255,表示不同α_n值对应的索引值。将 $L_{α_{n}}$ (x,y,s,t)分别沿着s、t方向进行二重积分,得到不同α_n值对应的重聚焦图像:

I_{α_{n}} (x, y) = \frac{1}{N_{s} \times N_{t}} \overset{N_{s}}{\sum_{s = 1}} \overset{N_{t}}{\sum_{t = 1}} L_{α_{n}} (x, y, s, t), (2)

图 1. 散焦结合相关性深度估计算法流程

Fig. 1. Flowchart of depth estimation algorithm based on defocus and correspondence

下载图片查看所有图片

式中:N_s和N_t分别表示s、t方向的4D光场角度分辨率大小。

不同聚焦深度处的4D光场 $L_{α_{n}}$ (x,y,s,t)的散焦响应 ${R^{d}}_{α_{n}} (x, y)$ 是通过计算不同聚焦深度处的重聚焦图像 $I_{α_{n}} (x, y)$ 的拉普拉斯值得到:

{R^{d}}_{α_{n}} (x, y) = \frac{1}{|ω_{D}|} \sum_{x, y \in ω_{D}} |\nabla^{2} I_{α_{n}} (x, y)|, (3)

式中: $\nabla^{2}$ 为拉普拉斯算子; $ω_{D}$ 为窗口大小。为了增强算法鲁棒性,以 $ω_{D}$ 为窗口大小计算当前像素点对应的拉普拉斯均值。

不同聚焦深度处的4D光场 $L_{α_{n}} (x, y, s, t)$ 的相关性响应 ${R^{c}}_{α_{n}} (x, y)$ 是通过计算4D光场角度方差得到:

{R^{c}}_{α_{n}} (x, y) = \frac{1}{|ω_{c}|} \sum_{x, y \in ω_{c}} \sqrt[]{\frac{1}{N_{s} \times N_{t}} \overset{N_{s}}{\sum_{s = 1}} \overset{N_{t}}{\sum_{t = 1}} {[L_{α_{n}} (x, y, s, t) - I_{α_{n}} (x, y)]}^{2}}, (4)

式中:ω_c为窗口大小。散焦响应 ${R^{d}}_{α_{n}} (x, y)$ 最大时 $α_{n}$ 的索引值 $n$ 对应的散焦深度图为 $D_{1} (x, y)$ ,相关性响应 ${R^{c}}_{α_{n}} (x, y)$ 最小时 $α_{n}$ 的索引值 $n$ 对应的相关性深度图为 $D_{2} (x, y)$ ,二者的具体表达式分别为

\begin{array}{l} D_{1} (x, y) = \underset{n}{argmax [} {R^{d}}_{α_{n}} (x, y)], (5) \\ D_{2} (x, y) = \underset{n}{argmin} [{R^{c}}_{α_{n}} (x, y)] 。 (6) \end{array}

为了使用马尔可夫优化理论来实现散焦深度图和相关性深度图的融合,需要首先计算不同深度图对应的置信度:

\begin{array}{l} C_{1} (x, y) = D_{1} (x, y) / D'_{1} (x, y), (7) \\ C_{2} (x, y) = D_{2} (x, y) / D'_{2} (x, y), (8) \end{array}

式中: $D'_{1} (x, y)$ 表示散焦响应 ${R^{d}}_{α_{n}} (x, y)$ 取次大值时由(5)式得到的深度图; $D'_{2} (x, y)$ 表示相关性响应 ${R^{c}}_{α_{n}} (x, y)$ 取次小值时由(6)式得到的深度图。最终融合后的深度图D(x,y)可通过解以下优化问题得到:

\begin{array}{l} minimize [\overset{2}{\sum_{i = 1}} C_{i} (x, y) |D (x, y) - D_{i} (x, y)| + 2 \sum_{(x, y)} (|\frac{\partial D (x, y)}{\partial x}| + |\frac{\partial D (x, y)}{\partial y}|) + \\ 2 \sum_{(x, y)} |\nabla^{2} D (x, y)|] 。 (9) \end{array}

3 基于能量增强的散焦响应函数优化

由(9)式可以看出,由散焦响应与相关性响应评价的精度将直接影响最终深度图融合的精度,(3)式建立的散焦响应函数采用传统拉普拉斯算子进行聚焦度评价,拉普拉斯算子的主要功能为求取水平与垂直方向的二阶导:

\nabla^{2} I_{α_{n}} (x, y) = \frac{\partial^{2} I_{α_{n}} (x, y)}{\partial x^{2}} + \frac{\partial^{2} I_{α_{n}} (x, y)}{\partial y^{2}}, (10)

其中

\begin{array}{l} \frac{\partial^{2} I_{α_{n}} (x, y)}{\partial x^{2}} = I_{α_{n}} (x + m, y) - 2 I_{α_{n}} (x, y) + I_{α_{n}} (x - m, y), (11) \\ \frac{\partial^{2} I_{α_{n}} (x, y)}{\partial y^{2}} = I_{α_{n}} (x, y + m) - 2 I_{α_{n}} (x, y) + I_{α_{n}} (x, y - m), (12) \end{array}

式中:m表示水平方向求二阶导的步长。

由(11)、(12)式可知,传统拉普拉斯算子只评估了水平和垂直方向4个像素点相对于中心像素点的能量变化,如图2(a)所示,而且存在水平方向和垂直方向二阶导符号相反时能量相互抵消的情况,从而降低了该算法获取边缘复杂光场深度图像的精度。针对该问题,本文对散焦深度获取算法中的散焦响应函数进行改进,提出基于能量增强的改进散焦响应函数,该函数充分考虑了周边像素点对当前位置散焦度的影响,通过增加具有权重差异的二阶导个数和方向来实现能量增强。改进后的散焦响应函数为

R_{α_{n}}^{d'} (x, y) = \frac{1}{|ω'_{D}|} \sum_{x, y \in ω'_{D}} |E_{e}^{2} [I_{α_{n}} (x, y)]|, (13)

式中:ω'_D是围绕当前像素的窗口大小; $E_{e}^{2}$ [·]表示基于能量增强的二阶导算子,其表达式为

\begin{array}{l} E_{e}^{2} [I_{α_{n}} (x, y)] = \overset{(M - 1) / 2}{\sum_{m = 0}} \overset{(N - 1) / 2}{\sum_{n = 1}} \frac{1}{\sqrt[]{m^{2} + n^{2}}} |2 I_{α_{n}} (x, y) - I_{α_{n}} (x + m, y + n) - I_{α_{n}} (x - m, y - n)| + \\ \overset{(M - 1) / 2}{\sum_{m = 1}} \overset{(N - 1) / 2}{\sum_{n = 0}} \frac{1}{\sqrt[]{m^{2} + n^{2}}} |2 I_{α_{n}} (x, y) - I_{α_{n}} (x - m, y + n) - I_{α_{n}} (x + m, y - n)|, (14) \end{array}

式中:n表示垂直方向求二阶导的步长; $1 / \sqrt[]{m^{2} + n^{2}}$ 表示权重因子,距离中心点越近的点,权重因子越大,对拉普拉斯算子值贡献越大,反之,距离中心点越远的点,对拉普拉斯算子值贡献越小;M、N只能取奇数,M×N表示重聚焦图像与该二阶导算子卷积的窗口大小。

改进的基于能量增强的二阶导算子的示意图如图2(b)所示,该示意图以M=5、N=5为例,对二阶导的数量及方向信息进行了标注。当m=0、n=1和m=1、n=0时,该算子计算了水平、垂直方向邻近4个像素点(对应图中实线①连接的4个实心像素点)相对于当前像素点的能量变化,功能等同于二阶导步长为1的传统拉普拉斯算子。当m=0、n=2和m=1、n=1时,计算垂直方向和45°方向与当前像素点距离为 $\sqrt[]{m^{2} + n^{2}}$ 的像素点(对应图中实线②连接的4个空心像素点)相对于当前像素点的能量变化。以此类推,当m=2、n=2和m=2、n=2时,计算45°方向和135°方向与当前像素点距离为 $\sqrt[]{m^{2} + n^{2}}$ 的像素点(对应图中虚线③连接的4个实心像素点)相对于当前像素点的能量变化。由此过程可以看出,改进的二阶导算子通过在增加二阶导的数量及方向的同时不断改变二阶导权重的方法,达到了能量增强的目的。

图 2. 二阶导算子比较图。(a)传统拉普拉斯算子;(b)本文提出的能量增强的二阶导算子

Fig. 2. Comparison of second-order derivative operators. (a) Traditional Laplace operator; (b) proposed second-order derivative operator for energy enhancement

下载图片查看所有图片

4 实验结果

为了论证基于能量增强的散焦响应函数在边缘复杂光场深度图像的获取中具有更强的鲁棒性,选取文献[ 17-18]中给出的实验数据库中纹理较为复杂的图像作为测试对象,分别采用DCDC算法和本文方法对微透镜阵列光场相机记录的场景进行了深度重建。

第1幅测试图像为文献[ 17]中用到的“shoe”图像,如图3(a)所示,该图像记录的鞋子表面存在密集空洞,在纹理图像中体现出黑白颜色的跳变,根据人类大脑的先验知识,重建的深度图像在空洞处也应存在深度值的跳变。分别采用DCDC算法和本文方法对该图像进行深度重建后,对应的深度图像如图3(b)与图3(c)所示,对放大图像的两个局部区域(白色框所在的A区域与B区域)进行细节对比: DCDC算法在A区域获得的深度图中,鞋子的空洞模糊,本文所提方法空洞的空间排列更为清晰;DCDC算法在B区域获取的深度图较为平滑,本文所提方法获取的深度图较好地反映出局部深度层次的变化。可见本文所提方法获取的深度图与纹理图的一致性更好,且更符合人类的先验判断。

另外,为了验证本文提出的基于能量增强二阶导算子对深度的变化更为敏感,在B区域鞋子的网状结构处选取了两个点,如图3(a)中的P点和Q点,P点位于网状空洞处,Q点位于网状非空洞处,这两个点存在一定的深度差。分别采用拉普拉斯算子和本文提出的二阶导算子计算了这两个点的散焦响应,散焦响应值随α_n对应的索引值n的变化曲线如图4所示。图4(a)为采用传统拉普拉斯算子计算得到的散焦响应曲线,图4(b)为采用本文改进后的二阶导算子计算得到的散焦响应曲线,实线代表P点的散焦响应,虚线代表Q点的散焦响应,每条曲线峰值对应的n值反映了当前点的深度值。图4(a)中两条曲线峰值间的距离d明显小于图4(b)中两条曲线峰值间的距离d',这说明传统拉普拉斯算子不能准确感应边缘复杂图像中的深度变化,而本文提出的二阶导算子考虑了能量抵消的问题,对该区域的深度响应更为敏感。

表 1. 深度图精度的定量评价

Table 1. Quantitative evaluation of accuracy of depth maps

Scene	PSNR		RMSE		BP
Scene	DCDC	Ours	DCDC	Ours	DCDC	Ours
"boxes"	13.4434	13.8457	0.2119	0.2023	0.1315	0.1285
"dino"	15.0526	15.3735	0.1756	0.1697	0.1401	0.1398

查看所有表

图 3. 基于"shoe"图像的深度估计结果对比。(a)光场原图像;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 3. Comparison of depth evaluation results obtained based on "shoe" image. (a) Light field raw image; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

下载图片查看所有图片

图 4. 散焦响应曲线对比。(a)基于拉普拉斯算子的散焦响应曲线图;(b)基于本文能量增强二阶导算子的散焦响应曲线

Fig. 4. Comparison of defocus response curves. (a) Defocus response curves obtained based on Laplace operator; (b) defocus response curves obtained based on proposed energy enhanced second-order derivative operator

下载图片查看所有图片

测试的另1幅光场图像“stapler”来自文献[ 18]中的深度学习训练数据集,如图5(a)所示,采用DCDC算法和本文方法获取的深度图分别如图5(b)和图5(c)所示。从图5(a)中A区域的放大图可以看出,订书机机身中间区域呈黑色,颜色对比不明显,但存在深度值的跳变,图5(b)的A区域放大图中存在边界伪影,而图5(c)中对应区域的伪影有明显改善。在图5(a)中B区域的放大图中,水杯与背景存在明显的深度跳变,图5(b)中B区域的放大图中丢失了水杯的深度信息,而从图5(c)中对应区域可以看到水杯的细节轮廓。该实验进一步论证了所提算法对深度信息复杂的局部区域有更高的深度重建精度。

目前已有的由基于微透镜阵列光场相机拍摄的图像构成的数据库没有对应的标准深度图,以上两组实验只能从视觉效果上说明本文所提算法的优越性。为了进一步定量评估所提方法深度重建的精度,采用斯坦福大学的benchmark数据集进行了实验,该数据集由阵列光场相机拍摄,每一场景包含81幅多视点图像及与之对应的1张标准的深度图。选取其中2个深度细节复杂的场景进行实验,如图6所示,实验过程中将81幅多视点图像看作由微透镜阵列光场相机拍摄的1张光场原图像解码出来的81幅子孔径图像来构建4D光场数据。分别用DCDC算法与本文方法进行场景深度估计,获取的深度图及对应的标准深度图分别如图7和图8所示。

图 5. 针对"stapler"图像的深度评价结果对比。(a)去冗余光场原图像;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 5. Comparison of depth evaluation results for "stapler" image. (a) Light field raw image without redundancy; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

下载图片查看所有图片

图 6. benchmark数据集中的2个样本图。(a) "boxes"场景;(b) "dino"场景

Fig. 6. Two sample images in benchmark dataset. (a) "boxes" scene; (b) "dino" scene

下载图片查看所有图片

图 7. 针对"boxes"场景的深度评价结果对比。(a)真实深度图;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 7. Comparison of depth evaluation results for "boxes" scene. (a) Ground truth; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

下载图片查看所有图片

从整体深度重建效果来看,本文方法获取的深度图较DCDC算法获取的深度图的边缘伪影更少,更能突显场景的深度层次变化。通过对比图7(b)与图7(c)白色矩形框所在区域可以发现,本文方法恢复的深度图在中心区域反映了深度层次的轻微跳变,与标准深度图更为接近,而DCDC算法丢失了该深度细节。通过对比图8(b)与图8(c)中黑色矩形框所在区域可以看出,本文方法恢复的深度图中齿形模型的边界更为清晰,与标准深度图更为接近。

图 8. 针对"dino"场景的深度评价结果对比。(a)真实深度图;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 8. Comparison of depth evaluation results for "dino" scene. (a) Ground truth; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

下载图片查看所有图片

最后,以标准深度图为基准,选取峰值信噪比(PSNR)、均方根误差(RMSE)及坏像素率(BP)^[12]作为评价指标,对DCDC算法与本文方法获取深度图的精度进行定量评价,评价结果如表1所示。通过对比表中数据可得,本文方法获取深度图的PSNR更高,RMSE和BP更低。

5 结论

针对DCDC算法在散焦深度估计时散焦响应函数求取二阶导的方向有限且水平、垂直二阶导求和能量相互抵消的问题,设计了基于能量增强的二阶导算子,对散焦响应函数进行了改进,以提高边缘复杂光场图像的深度获取精度。该二阶导算子充分考虑了周边像素点对当前位置散焦度的影响,通过增加二阶导的个数和方向来实现能量增强,通过设定权重系数来实现二阶导能量求和时的均衡。实验论证了所提方法的有效性,本文获取的深度图整体深度层次更为清晰,对边缘伪影有明显的抑制效果,局部深度细节更为真实,PSNR平均提高0.3616 dB,均方根误差平均降低3.95%。

参考文献

[1] NgR, LevoyM, BredifM, et al. Light field photography with a hand-held plenopic camera[EB/OL]. [2020-03-30].https:∥www.researchgate.net/publication/246688556_Light_Field_Photography_with_a_Hand-Held_Plenopic_Camera.

[2] KubotaA, TakahashiK, AizawaK, et al. All-focused light field rendering[C]∥Proceedings of the Fifteenth Eurographics Conference on Rendering Techniques, June 21-23, 2004, ACM: New York, 2004: 235- 242.

[3] JeonH, ParkJ, ChoeG, et al. Accurate depth map estimation from a lenslet light field camera[C]∥ Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 07-12, 2015, Washington, DC: IEEE Computer Society, 2015: 1547- 1554.

[4] Stolc S, Soukup D, Hollaender B, et al. Depth and all-in-focus imaging by a multi-line-scan light-field camera[J]. Journal of Electronic Imaging, 2014, 23(5): 053020.

[5] 朱达荣, 许露, 汪方斌, 等. 基于快速有限剪切波变换与引导滤波的多聚焦图像融合算法[J]. 激光与光电子学进展, 2018, 55(1): 011001.

Zhu D R, Xu L, Wang F B, et al. Multi-focus image fusion algorithm based on fast finite shearlet transform and guided filter[J]. Laser & Optoelectronics Progress, 2018, 55(1): 011001.

[6] 杨艳春, 李娇, 党建武, 等. 基于引导滤波与改进PCNN的多聚焦图像融合算法[J]. 光学学报, 2018, 38(5): 0510001.

Yang Y C, Li J, Dang J W, et al. Multi-focus image fusion based on guided filtering and improved PCNN[J]. Acta Optica Sinica, 2018, 38(5): 0510001.

[7] 席志红, 侯彩燕, 袁昆鹏, 等. 基于深层残差网络的加速图像超分辨率重建[J]. 光学学报, 2019, 39(2): 0210003.

Xi Z H, Hou C Y, Yuan K P, et al. Super-resolution reconstruction of accelerated image based on deep residual network[J]. Acta Optica Sinica, 2019, 39(2): 0210003.

[8] AnisimovY, Stricker D.Fast and efficient depth map estimation from light fields[EB/OL]. ( 2018-05-01)[2020-03-30]. https:∥arxiv.org/abs/1805. 00264.

[9] Lin HT, ChenC, Kang SB, et al. Depth recovery from light field using focal stack symmetry[C]∥ 2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, New York: IEEE, 2015: 15801605.

[10] Wang TC, Efros AA, RamamoorthiR. Occlusion-aware depth estimation using light-field cameras[C]∥2015 IEEE International Conference on Computer Vision (ICCV), December 7-13, 2015, New York: IEEE, 2015: 15801767.

[11] Zhang S, Sheng H, Li C, et al. Robust depth estimation for light field via spinning parallelogram operator[J]. Computer Vision and Image Understanding, 2016, 145: 148-159.

[12] ShinC, Jeon HG, YoonY, et al. EPINET: a fully-convolutional neural network using epipolar geometry for depth from light field images[C]∥2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, June 18-23, 2018, Salt Lake City, UT, USA. New York: IEEE, 2018: 18347920.

[13] Tao MW, Srinivasan PP, MalikJ, et al. Depth from shading, defocus, and correspondence using light-field angular coherence[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 15524412.

[14] WilliemW, Park IK. Robust light field depth estimation for noisy scene with occlusion[C]∥2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 27-30, 2016, Las Vegas, NV, USA. New York: IEEE, 2016: 16526778.

[15] Li J Q, Lu M L, Li Z N. Continuous depth map reconstruction from light fields[J]. IEEE Transactions on Image Processing, 2015, 24(11): 3257-3265.

[16] Bishop T E, Favaro P. The light field camera: extended depth of field, aliasing, and superresolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(5): 972-986.

[17] Tao MW, HadapS, MalikJ, et al. Depth from combining defocus and correspondence using light-field cameras[C]∥2013 IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, NSW, Australia. New York: IEEE, 2013: 14145053.

[18] Yoon Y, Jeon H G, Yoo D, et al. Light field image super-resolution using convolutional neural network[J]. IEEE Signal Processing Letters, 2017, 24(6): 848-852.

武迎春, 程星, 谢颖贤, 王安红. 边缘复杂光场图像的深度估计散焦响应函数优化[J]. 激光与光电子学进展, 2020, 57(18): 181027. Yingchun Wu, Xing Cheng, Yingxian Xie, Anhong Wang. Defocusing Response Function Optimization in Depth Estimation of Boundary Complex Light Field Image[J]. Laser & Optoelectronics Progress, 2020, 57(18): 181027.

边缘复杂光场图像的深度估计散焦响应函数优化下载： 1002次

1 引言

2 散焦评价结合相关性评价的深度获取原理

图 1. 散焦结合相关性深度估计算法流程

Fig. 1. Flowchart of depth estimation algorithm based on defocus and correspondence

3 基于能量增强的散焦响应函数优化

图 2. 二阶导算子比较图。(a)传统拉普拉斯算子;(b)本文提出的能量增强的二阶导算子

Fig. 2. Comparison of second-order derivative operators. (a) Traditional Laplace operator; (b) proposed second-order derivative operator for energy enhancement

4 实验结果

表 1. 深度图精度的定量评价

Table 1. Quantitative evaluation of accuracy of depth maps

图 3. 基于"shoe"图像的深度估计结果对比。(a)光场原图像;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 3. Comparison of depth evaluation results obtained based on "shoe" image. (a) Light field raw image; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

图 4. 散焦响应曲线对比。(a)基于拉普拉斯算子的散焦响应曲线图;(b)基于本文能量增强二阶导算子的散焦响应曲线

Fig. 4. Comparison of defocus response curves. (a) Defocus response curves obtained based on Laplace operator; (b) defocus response curves obtained based on proposed energy enhanced second-order derivative operator

图 5. 针对"stapler"图像的深度评价结果对比。(a)去冗余光场原图像;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 5. Comparison of depth evaluation results for "stapler" image. (a) Light field raw image without redundancy; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

图 6. benchmark数据集中的2个样本图。(a) "boxes"场景;(b) "dino"场景

Fig. 6. Two sample images in benchmark dataset. (a) "boxes" scene; (b) "dino" scene

图 7. 针对"boxes"场景的深度评价结果对比。(a)真实深度图;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 7. Comparison of depth evaluation results for "boxes" scene. (a) Ground truth; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

图 8. 针对"dino"场景的深度评价结果对比。(a)真实深度图;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 8. Comparison of depth evaluation results for "dino" scene. (a) Ground truth; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

边缘复杂光场图像的深度估计散焦响应函数优化 下载： 1002次

1 引言

2 散焦评价结合相关性评价的深度获取原理

图 1. 散焦结合相关性深度估计算法流程

Fig. 1. Flowchart of depth estimation algorithm based on defocus and correspondence

3 基于能量增强的散焦响应函数优化

图 2. 二阶导算子比较图。(a)传统拉普拉斯算子;(b)本文提出的能量增强的二阶导算子

Fig. 2. Comparison of second-order derivative operators. (a) Traditional Laplace operator; (b) proposed second-order derivative operator for energy enhancement

4 实验结果

表 1. 深度图精度的定量评价

Table 1. Quantitative evaluation of accuracy of depth maps

图 3. 基于"shoe"图像的深度估计结果对比。(a)光场原图像;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 3. Comparison of depth evaluation results obtained based on "shoe" image. (a) Light field raw image; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

图 4. 散焦响应曲线对比。(a)基于拉普拉斯算子的散焦响应曲线图;(b)基于本文能量增强二阶导算子的散焦响应曲线

Fig. 4. Comparison of defocus response curves. (a) Defocus response curves obtained based on Laplace operator; (b) defocus response curves obtained based on proposed energy enhanced second-order derivative operator

图 5. 针对"stapler"图像的深度评价结果对比。(a)去冗余光场原图像;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 5. Comparison of depth evaluation results for "stapler" image. (a) Light field raw image without redundancy; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

图 6. benchmark数据集中的2个样本图。(a) "boxes"场景;(b) "dino"场景

Fig. 6. Two sample images in benchmark dataset. (a) "boxes" scene; (b) "dino" scene

图 7. 针对"boxes"场景的深度评价结果对比。(a)真实深度图;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 7. Comparison of depth evaluation results for "boxes" scene. (a) Ground truth; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

图 8. 针对"dino"场景的深度评价结果对比。(a)真实深度图;(b) DCDC算法获取的深度图;(c)本文方法获取的深度图

Fig. 8. Comparison of depth evaluation results for "dino" scene. (a) Ground truth; (b) depth map calculated by DCDC algorithm; (c) depth map calculated by proposed method

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

边缘复杂光场图像的深度估计散焦响应函数优化下载： 1002次