基于自适应联合双边滤波的深度图像空洞填充与优化算法

王得成; 陈向宁; 易辉; 赵峰

doi:doi:10.3788/CJL201946.1009002

中国激光, 2019, 46 (10): 1009002, 网络出版: 2019-10-25

基于自适应联合双边滤波的深度图像空洞填充与优化算法下载： 1644次

Hole Filling and Optimization Algorithm for Depth Images Based on Adaptive Joint Bilateral Filtering

论文大纲

王得成 ^1,*陈向宁 ¹易辉 ¹赵峰 ^1,2

作者单位

¹ 中国人民解放军航天工程大学航天信息学院, 北京 101416

² 中国人民解放军61618部队, 北京 100094

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对联合双边滤波修复深度图像时无法准确估计滤波邻域范围和权重参数、深度图像的空洞填充效果不佳等问题,提出一种自适应深度图像空洞填充与优化算法。该算法减少了输入参数,实现了对每个深度缺失值的修复,根据有效像素占比确定每个空洞像素点的滤波邻域范围,通过邻域大小计算空间距离权重项参数,引入结构相似度(SSIM)作为颜色相似权重项参数的计算指标。在Middlebury立体匹配数据集和经过配准的Kinect RGB-D数据集上检测所提算法的性能,并与其他方法进行定性比较和定量分析。实验结果表明,所提算法能够有效填充深度缺失空洞,抑制深度图像噪声,更加精细、准确地改善深度图像的质量。

Abstract

When joint bilateral filtering is used to repair depth images, hole-filling effect is poor because the filtering neighborhood range and weight parameter cannot be estimated accurately. To address this problem, we propose an adaptive hole-filling and optimization algorithm for depth images. The proposed algorithm reduces the input parameters and restores each missing depth value. First, the filtering neighborhood range of each hole pixel is determined based on the effective pixel proportion. Then, the parameter value of spatial distance weight is calculated based on the neighborhood size. Finally, the structural similarity is introduced as a parameter calculation index of the color similarity weight. The performance of the proposed algorithm is tested on the Middlebury stereo-matching dataset and the registered Kinect RGB-D dataset, and qualitative comparison and quantitative analysis are performed to compare the performance of the proposed algorithm with those of other methods. The experimental results show that the developed algorithm can effectively fill in missing depth values, reduce the image noise, and improve the quality of depth images meticulously and accurately.

1 引言

消费级深度传感器Kinect的出现,使得计算机视觉领域中三维场景重建^[1-2]、RGB-D目标识别^[3-4]和语义分割^[5]等方向的技术发展迅猛。Kinect v2相机可以获得彩色图像信息,同时其深度传感器通过飞行时间测距法(ToF)获取同一位置的深度图像信息。实际应用中,物体边缘部分的反射性通常变化剧烈,获取的深度图像往往在物体与背景的接触边缘产生空洞^[6],表现为像素值为零的区域。另外,深度传感器误差和作用范围的限制以及光噪声的影响,导致设备不能有效接收反射信息,从而降低深度图像的质量。

近年来,研究人员在深度图像空洞填充与质量优化方面做了许多工作,借助Kinect相机可同时提供同一场景下彩色与深度图像的便捷性,结合彩色信息的深度图像修复算法取得了显著成果。2012年,Chen等^[7]结合彩色图像利用区域生长方法检测并去除具有错误深度值的像素,提出一种自适应双边滤波器并用于填充缺失深度值,有效降低了噪声,提高了深度图像的质量;刘俊毅^[8]提出基于引导快速行进法的深度图像未知区域填充算法,重新设计了权重项的表达和深度值的填充顺序,在一定程度上改善了深度缺失值的修复效果;Liu等^[9]利用局部图像邻域中彩色与深度图像联合填充像素缺失区域时,提出一种能量最小化方法,在能量函数中添加TV21正则化项,保留了深度图像的锐利边缘;Lu等^[10]提出一种利用噪声彩色图像完成缺失深度值填充并对深度图进行去噪的方法,将RGB-D稀疏值合成矩阵在低秩子空间约束中实现去噪和缺失深度值修复,取得了较好的效果;Song等^[11]为解决冗余颜色边缘导致缺失深度值修复不正确的问题,使用图像金字塔策略提取原始深度图像的边缘,将其与彩色图像中提取到的边缘在马尔科夫(MRF)优化框架中融合,获得了增强的深度图;谭志国等^[12]设计了一种根据图像深度值进行分层的去噪算法,将深度图像分为多个图层后分别去噪,最后进行拼接合成完整的修复图像,但该方法对于深度图像的较大空洞填充效果不佳;Chang等^[13]提出一种联合纹理相似性孔填充(TSHF)、纹理相似性深度增强(TSDE)和旋转建议深度细化(RCDR)的深度图像增强系统,实现了有效抑制噪声、填充深度空洞并锐化物体边缘的目的;2018年,Zhang等^[14]使用深度学习方法训练深度网络,将单一RGB图像作为输入,预测密集的表面法线和遮挡边界,结合预测值与RGB-D相机提供的原始深度值,求解所有缺失的像素值,该方法取得了很好的修复效果,但在网络训练过程中需要大量样本数据,过程复杂,时间成本较高。

目前,联合双边滤波(JBF)算法^[15]是最常用的基于彩色图像引导深度值填充的方法。本文通过改进传统联合双边滤波算法,提出一种自适应深度图像空洞填充优化方案,在减少输入参数的情况下,增强了深度图像修复的稳健性和通用性。

2 算法原理

2.1 联合双边滤波算法

联合双边滤波器是由双边滤波器发展而来,双边滤波采用加权平均的思想,其利用周边像素灰度值的加权平均代表某个像素的强度,所用的加权平均基于高斯分布,权重不仅考虑像素的欧氏距离,还考虑像素邻域中的颜色差异。由于双边滤波器的权值不稳定,滤波结果在边缘附近会出现一些翻转,为改善其稳定性,引入联合双边滤波器。两者之间的差别就是联合双边滤波算法利用一个导向图(即彩色图像)作为值域权重的计算依据。

联合双边滤波算法的计算公式为

\begin{matrix} J_{y} = \frac{\sum_{x \in Ω} w_{c} (x, y) \cdot w_{r} (x, y) \cdot D_{x}}{\sum_{x \in Ω} w_{c} (x, y) \cdot w_{r} (x, y)}, (1) \end{matrix}

w_{c} (x, y) = \exp (- \frac{‖ I_{y} - I_{x} ‖^{2}}{2 σ_{c}^{2}}), (2)

w_{r} (x, y) = \exp (- \frac{‖ y - x ‖^{2}}{2 σ_{r}^{2}}), (3)

式中:J_y为滤波后的像素深度值;D_x为原始图像深度值;w_c(x,y)表示颜色相似项权重;w_r(x,y)表示空间距离项权重;I_x和I_y分别为彩色图像中待填充点位置x及其邻域内位置y的像素值;σ_c和σ_r分别为颜色相似权重项参数和空间距离权重项参数。进行深度估计时,空间距离项保证了距离待填充像素越近的像素点具有越大的估计权重;颜色相似项保证了与待填充像素在彩色图像上越相似的像素点具有越大的权重。利用联合双边滤波算法进行图像增强的效果较好且容易实现,但在深度图像修复过程中,空洞像素区域的大小和数量都不确定,因此,在处理每幅图像之前都必须确定滤波邻域范围Ω、颜色相似权重项参数σ_c以及空间距离权重项参数σ_r,并根据经验反复尝试确定其取值,这样不仅时间成本高,而且很难得到空洞修补的最优解。

2.2 改进的自适应深度图像修复算法

针对上述利用联合双边滤波算法修复深度图像时调参繁琐且效果不佳等问题,提出一种改进的自适应联合双边滤波算法,旨在自动确定每个空洞像素点的滤波相关参数,以满足每一个深度值修补时需要一组不同参数的要求。自适应确定最优参数的算法步骤如下。

1) 确定每个空洞像素点的滤波邻域范围Ω。在深度图像中计算每个空洞像素点m×m邻域内非零像素点的占比T,若T>Q(Q为给定的占比阈值),则滤波邻域设为m×m;否则m=m+2(即滤波邻域边长m的初始值m₀=3),再次判断T与Q的关系。

2) 计算参数σ_r。由(3)式可知,σ_r与w_r成正比,由于空间距离越大,两像素点差异越大,因此可结合m的取值确定σ_r,即邻域范围越大,空间距离权重越小,σ_r也越小。σ_r的表达式为

\begin{matrix} σ_{r} = \frac{m_{0}}{m} \cdot σ_{r (\max)}, (4) \end{matrix}

式中:σ_r(max)为参数σ_r允许的最大值。

3)计算参数σ_c。引入结构相似度(SSIM)^[16]这一评价标准。该指标结合亮度、对比度以及结构3个方面评价彩色和深度图像在同一区域的相似度,SSIM为3个因素的乘积,其中亮度、对比度和结构分别采用每个空洞点邻域内像素均值u_xu_y、标准差σ_xσ_y和协方差σ_xy表示。本文在文献[ 17]的基础上去除了SSIM表达式的冗余常数项,使其更精炼有效,则有

\begin{matrix} S_{SSIM} (x, y) = \frac{2 u_{x} u_{y} \cdot 2 σ_{xy}}{(u_{x}^{2} + u_{y}^{2}) \cdot (σ_{x}^{2} + σ_{y}^{2})}, (5) \end{matrix}

σ_{c} = \frac{1}{3} \sum S_{SSIM} (r, g, b) \cdot σ_{c (\max)}, (6)

式中:S_SSIM为结构相似度;u_x为图像x的像素均值;u_y为图像y的像素均值;σ_x为图像y的像素标准差;σ_y为图像y的像素标准差;S_SSIM(r,g,b)表示彩色图像RGB(红、绿、蓝)3个通道各自的SSIM值。

(5)式为单通道SSIM的表达式,计算深度图像与彩色图像的结构相似度时,取RGB 3个通道的平均值作为最后结果。(6)式为参数σ_c的表达式,其中SSIM的取值为(0,1],σ_c(max)为参数σ_c允许的最大值。计算得到每个空洞像素点的参数和相应权重后,代入(1)式即可得到缺失深度像素的修复值,最终得到修复后的深度图像。改进的自适应深度图像修复算法原理如图1所示。

图 1. 改进的自适应深度图像修复算法示意图

Fig. 1. Diagram of improved adaptive depth image inpainting algorithm

下载图片查看所有图片

3 实验结果与分析

为了验证提出的深度图像优化算法的性能,进行两组实验。第一组实验以Middlebury立体匹配数据集^[18]中的视差数据作为深度图像实际值,为了模拟Kinect深度采集设备中的深度缺失与噪声,对深度图像实际值添加高斯噪声,描黑某些区域表示该区域的深度信息未知,该实验的目的是通过评价指标定量评估算法性能;第二组实验利用Kinect v2传感器拍摄的室内场景彩色图像与深度图像进行深度修复,定性评价自适应深度空洞填充算法的优劣。本文算法的代码通过Visual C++中OpenCV库实现,在配备Intel Core i7-7700HQ 2.8 GHz的CPU以及8 GB内存的计算机上运行。

3.1 彩色与深度图像配准过程

实验之前,采用文献[ 19]方法匹配同一场景的两幅图像,首先获得Kinect v2的相机参数,通过RGB和Depth两个传感器之间的变换矩阵配准彩色和深度图像,即将深度图像的坐标系转换到彩色图像坐标系,使得RGB与深度图像中同一场景的像素位置一一对应。彩色图像与深度图像配准的步骤如下。

1) 在同一场景下,对Kinect v2相机中的彩色摄像头和深度摄像头分别进行标定,得到的内参矩阵分别为H_rgb和H_ir,彩色相机的外参矩阵分别为R_rgb和T_rgb,深度相机的外参矩阵分别为R_ir和T_ir。

2) 相机坐标系下的齐次三维点(P=[X,Y,Z,1]^T,X、Y、Z分别为三维坐标值)到图像上齐次表示的像素坐标(ρ=[u,v,1]^T,u为像素横坐标,v为纵坐标)的映射关系如下:

对于彩色相机,内参矩阵为

\begin{matrix} H_{rgb} = [\begin{matrix} f_{X_rgb} & 0 & c_{X_rgb} \\ 0 & f_{Y_rgb} & c_{Y_rgb} \\ 0 & 0 & 1 \end{matrix}], (7) \end{matrix}

则有

\begin{matrix} Z_{rgb} \cdot [\begin{matrix} u_{rgb} \\ v_{rgb} \\ 1 \end{matrix}] = [\begin{matrix} f_{X_rgb} & 0 & c_{X_rgb} \\ 0 & f_{Y_rgb} & c_{Y_rgb} \\ 0 & 0 & 1 \end{matrix}] \cdot [\begin{matrix} 1 & 0 & 0 & 0 \\ 0 & 1 & 0 & 0 \\ 0 & 0 & 1 & 0 \end{matrix}] \cdot [\begin{matrix} X_{rgb} \\ Y_{rgb} \\ Z_{rgb} \\ 1 \end{matrix}], (8) \end{matrix}

式中:齐次坐标P_rgb= $\begin{matrix} {[X_{rgb}, Y_{rgb}, Z_{rgb}, 1]}^{T} \end{matrix}$ 可以用非齐次坐标 $\begin{matrix} {\bar{P}}_{rgb} \end{matrix}$ = $\begin{matrix} {[X_{rgb}, Y_{rgb}, Z_{rgb}]}^{T} \end{matrix}$ 表示,即

\begin{matrix} Z_{rgb} \cdot ρ_{rgb} = H_{rgb} \cdot {\bar{P}}_{rgb} 。 (9) \end{matrix}

同理,深度相机的映射公式为

\begin{matrix} Z_{ir} \cdot ρ_{ir} = H_{ir} \cdot {\bar{P}}_{ir}, (10) \end{matrix}

式中:f_{X_}_rgb和f_{Y_}_rgb为焦距参数;c_{X_}_rgb和c_{Y_}_rgb为主点偏移量;Z_rgb、X_rgb和Y_rgb为彩色相机坐标系下的三维坐标值;u_rgb和v_rgb为彩色图像的像素坐标值;Z_ir为深度相机坐标系下的Z轴方向坐标值;ρ_rgb和ρ_ir分别为彩色图像和深度图像中同一物体的像素坐标; $\begin{matrix} {\bar{P}}_{ir} \end{matrix}$ 为深度相机坐标系下的非齐次三维坐标。

3) 深度相机和RGB相机的坐标可以利用一个旋转平移变换联系起来,即

\begin{matrix} P_{rgb} = R \cdot P_{ir} + T, (11) \end{matrix}

式中:P_ir为深度相机坐标系下的齐次三维坐标;R为旋转矩阵;T为平移向量。外参矩阵实际上也由一个旋转矩阵R_rgb(R_ir)和平移向量T_rgb(T_ir)构成,其表示将一个全局坐标系下的点矢量P变换到摄像头坐标系下,分别对深度和RGB相机进行变换,则有

\begin{matrix} P_{ir} = R_{ir} \cdot P + T_{ir}, (12) \end{matrix}

P_{rgb} = R_{rgb} \cdot P + T_{rgb} 。 (13)

由(12)式和(13)式可得

\begin{matrix} P_{rgb} = R_{rgb} \cdot R_{ir}^{- 1} \cdot P + T_{rgb} - R_{rgb} \cdot R_{ir}^{- 1} \cdot T_{ir}, (14) \end{matrix}

式中: $\begin{matrix} R_{ir}^{- 1} \end{matrix}$ 为R_ir的逆矩阵。

联立(11)式和(14)式,可得

\begin{matrix} \{\begin{matrix} R = R_{rgb} \cdot R_{ir}^{- 1} \\ T = T_{rgb} - R_{rgb} \cdot R_{ir}^{- 1} \cdot T_{ir} = T_{rgb} - R \cdot T_{ir} \end{matrix} 。 (15) \end{matrix}

非齐次坐标表示的相机坐标系下三维点 $\begin{matrix} {\bar{P}}_{rgb} \end{matrix}$ 和 $\begin{matrix} {\bar{P}}_{ir} \end{matrix}$ 之间的关系可以表示为

\begin{matrix} {\bar{P}}_{rgb} = R \cdot {\bar{P}}_{ir} + T, (16) \end{matrix}

联立(9)式、(10)式和(16)式,可得ρ_rgb与ρ_ir的关系,即

\begin{matrix} Z_{rgb} \cdot ρ_{rgb} = H_{rgb} \cdot R \cdot H_{ir}^{- 1} \cdot ρ_{ir} \cdot Z_{ir} + H_{rgb} \cdot T, (17) \end{matrix}

式中: $\begin{matrix} H_{ir}^{- 1} \end{matrix}$ 为H_ir的逆矩阵。

图2所示为几组Kinect v2传感器采集的彩色图像与深度图像的配准结果。

图 2. Kinect v2传感器采集图像的配准结果。(a)彩色图像; (b)深度图像

Fig. 2. Image registration results acquired from Kinect v2 sensor. (a) Color image; (b) depth image

下载图片查看所有图片

3.2 改进的自适应深度图像修复结果

在Middlebury立体匹配数据集中选取部分场景并加入噪声,利用本文算法对引入噪声的深度图像进行空洞填充与优化。经过大量实验确定阈值Q的经验值为0.6,σ_r(max)和σ_c(max)的经验值均设为20。部分深度图像的修复结果如图3所示,通过框中放大的细节可以看出本文算法对深度图像的修复效果更好。

图 3. Middlebury数据集中部分深度图像的空洞添加和修复结果。(a)原始彩色图像; (b)原始深度图像;(c)添加空洞模拟噪声的深度图像及细节; (d)本文方法改善后的深度图像及细节

Fig. 3. Hole addition and inpainting results of partial depth images in Middlebury dataset. (a) Original color images; (b) original depth images; (c) depth images and details after adding holes to simulate noise; (d) depth images and details improved by proposed method

下载图片查看所有图片

引入均方根误差(RMSE)和峰值信噪比(PSNR)两个指标来评价算法的去噪性能,从而定量评价修复结果,RMSE主要评价已知图像和修复图像之间的误差大小,其值越小,表示算法性能越好;而PSNR是衡量图像失真或噪声水平的客观标准,其值越大,说明图像的修复质量越好。两者的表达式分别为

\begin{matrix} E_{RMSE} = \sqrt[]{\overset{M}{\sum_{i = 1}} \overset{N}{\sum_{j = 1}} [I (i, j) - I' {(i, j)]}^{2} / (M \times N)}, (18) \end{matrix}

R_{PSNR} = 10 \times \lg \{M_{\max}^{2} / \{\frac{1}{M \times N} \cdot \overset{M}{\sum_{i = 1}} \overset{N}{\sum_{j = 1}} [I (i, j) - I' {(i, j)]}^{2}\}\}, (19)

式中:E_RMSE为均方根误差;R_PSNR为峰值信噪比;M、N分别为图像的长度与宽度;I(i,j)和I'(i,j)分别为原图与修复图像在点(i,j)处的像素值;M_max为图像颜色的最大数值,8 bit图像的取值为255。

为了更详细地量化修复结果,计算修复图像与原始图像的SSIM,SSIM值越大,说明与原始图像更接近,修复效果越好。定量评价结果如表1所示。

由表1可知:深度空洞面积和空洞像素邻域的场景复杂度会对本文方法修复空洞的效果造成影响;Art和Reindeer两幅图的修复效果较差,Reindeer图中添加的空洞面积较大,算法自适应地拓展滤波邻域,导致最终深度修复结果不准确,而Art图中空洞像素邻域场景较复杂,使得联合双边滤波器的性能弱化,从而影响了深度修复的结果。

表 1. 基于Middlebury数据集部分图像修复的量化指标

Table 1. Quantitative indicators based on partial image restoration on Middlebury dataset

Index	Art	Moebius	Reindeer	Dolls
RMSE	4.5387	2.5218	4.4143	2.1907
PSNR /dB	34.9923	40.0966	35.2335	41.3192
SSIM	0.8951	0.9365	0.9027	0.9418
Time /s	0.1362	1.1145	2.8681	0.2413

查看所有表

3.3 本文算法与其他方法的对比结果

为了进一步验证本文算法性能的优越性,利用Kinect v2传感器采集一组室内深度图像并进行空洞填充,与传统的联合双边滤波法以及文献[ 20]中基于像素滤波和中值滤波的深度图像修复方法进行比较,结果如图4所示,方框表示图中细节的放大。

从图4的细节可以看出:相比于其他两类方法,本文算法对于深度图像的空洞填充效果更加更优;与文献[ 20]方法相比,本文算法在深度缺失的物体边缘等细节上表现更加锐化。由于无法获知Kinect获取深度图像的正确标注值,在Middlebury数据集中对上述方法得到的RMSE指标进行比较,结果如图5所示。从图5可以看出,相比于其他两种图像修复方法,本文算法对图像深度信息的还原最准确,在深度图像的空洞填充与优化方面性能最佳。

图 4. 本文算法与其他方法实验结果对比。(a)原始彩色图像;(b)原始深度图像;(c)联合双边滤波法结果;(d)文献[ 20]方法结果;(e)本文算法结果

Fig. 4. Comparison of results obtained by proposed method and other methods. (a) Original color images; (b) original depth images; (c) results of joint bilateral filter; (d) results of Ref. [20]; (e) results of propsoed algorithm

下载图片查看所有图片

图 5. 本文算法与其他方法基于Middlebury数据集的RMSE对比结果

Fig. 5. RMSE comparison of proposed algorithm and other methods based on the Middlebury dataset

下载图片查看所有图片

4 结论

提出一种自适应深度图像空洞填充与优化算法,相比于联合双边滤波法,可有效减少输入参数,并且对于每个深度缺失值都计算相应的滤波邻域和权重,深度图像修复结果更加精细准确。另外,分别在Middlebury立体匹配数据集和Kinect v2传感器采集并经配准的RGB-D数据集中完成空洞填充实验,与其他两种方法的定性比较和定量分析结果表明,本文算法不仅实现了自适应深度图像修复,而且对深度缺失值的填充具有较好的适应性和稳健性。

所提算法将SSIM作为计算联合双边滤波中颜色相似项权重参数的指标,在修复大面积深度空洞区域时,依次迭代不同大小的邻域,计算有效深度占比,在一定程度上增加了运算复杂度;另外,深度空洞面积和空洞像素邻域的场景复杂度会对空洞修复效果造成影响,因此,后续工作将从提高深度图像的修复速度与精度两方面展开,并增强算法实时性与可靠性,为利用RGB-D图像进行目标识别、语义分割和三维重建等研究提供高质量深度数据。

参考文献

[1] Vijayanagar[\s]{1}KR,[\s]{1}LoghmanM,[\s]{1}KimJ.[\s]{1}Refinement[\s]{1}of[\s]{1}depth[\s]{1}maps[\s]{1}generated[\s]{1}by[\s]{1}low-cost[\s]{1}depth[\s]{1}sensors[C]∥2012[\s]{1}International[\s]{1}SoC[\s]{1}Design[\s]{1}Conference[\s]{1}(ISOCC),[\s]{1}November[\s]{1}4-7,[\s]{1}2012,[\s]{1}Jeju[\s]{1}Island,[\s]{1}Korea.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2013:[\s]{1}355-[\s]{1}358.[\s]{1}

[2] 丁少闻, 张小虎, 于起峰, 等. 非接触式三维重建测量方法综述[J]. 激光与光电子学进展, 2017, 54(7): 070003.

Ding S W, Zhang X H, Yu Q F, et al. Overview of non-contact 3D reconstruction measurement methods[J]. Laser & Optoelectronics Progress, 2017, 54(7): 070003.

[3] Xu X Y, Li Y C, Wu G S, et al. Multi-modal deep feature learning for RGB-D object detection[J]. Pattern Recognition, 2017, 72: 300-313.

[4] 曲磊, 王康如, 陈利利, 等. 基于RGBD图像和卷积神经网络的快速道路检测[J]. 光学学报, 2017, 37(10): 1010003.

Qu L, Wang K R, Chen L L, et al. Fast road detection based on RGBD images and convolutional neural network[J]. Acta Optica Sinica, 2017, 37(10): 1010003.

[5] HazirbasC,[\s]{1}Ma[\s]{1}LN,[\s]{1}DomokosC,[\s]{1}et[\s]{1}al.[\s]{1}FuseNet:[\s]{1}incorporating[\s]{1}depth[\s]{1}into[\s]{1}semantic[\s]{1}segmentation[\s]{1}via[\s]{1}fusion-based[\s]{1}CNN[\s]{1}architecture[M][\s]{1}∥Lai[\s]{1}S[\s]{1}H,[\s]{1}Lepetit[\s]{1}V,[\s]{1}Nishino[\s]{1}K,[\s]{1}et[\s]{1}al.[\s]{1}Computer[\s]{1}vision-ACCV[\s]{1}2016.[\s]{1}Lecture[\s]{1}notes[\s]{1}in[\s]{1}computer[\s]{1}science.[\s]{1}Cham:[\s]{1}Springer,[\s]{1}2017,[\s]{1}10111:[\s]{1}213-[\s]{1}228.[\s]{1}

[6] 吕朝辉, 沈萦华, 李精华. 基于Kinect的深度图像修复方法[J]. 吉林大学学报(工学版), 2016, 46(5): 1697-1703.

Lü C H, Shen Y H, Li J H. Depth map inpainting method based on Kinect sensor[J]. Journal of Jilin University(Engineering and Technology Edition), 2016, 46(5): 1697-1703.

[7] ChenL,[\s]{1}LinH,[\s]{1}Li[\s]{1}ST.[\s]{1}Depth[\s]{1}image[\s]{1}enhancement[\s]{1}for[\s]{1}Kinect[\s]{1}using[\s]{1}region[\s]{1}growing[\s]{1}and[\s]{1}bilateral[\s]{1}filter[C]∥21st[\s]{1}International[\s]{1}Conference[\s]{1}on[\s]{1}Pattern[\s]{1}Recognition,[\s]{1}November[\s]{1}11-15,[\s]{1}2012,[\s]{1}Tsukuba,[\s]{1}Japan.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2012:[\s]{1}3070-[\s]{1}3073.[\s]{1}

[8] 刘俊毅.[\s]{1}彩色图像引导的深度图像增强[D].[\s]{1}杭州:[\s]{1}浙江大学,[\s]{1}2014:[\s]{1}20-[\s]{1}23.[\s]{1}

Liu[\s]{1}JY.[\s]{1}Depth[\s]{1}map[\s]{1}enhancement[\s]{1}under[\s]{1}the[\s]{1}guidance[\s]{1}of[\s]{1}color[\s]{1}image[D].[\s]{1}Hangzhou:[\s]{1}Zhejiang[\s]{1}University,[\s]{1}2014:[\s]{1}20-[\s]{1}23.[\s]{1}

[9] Liu[\s]{1}SG,[\s]{1}WangY,[\s]{1}WangJ,[\s]{1}et[\s]{1}al.[\s]{1}Kinect[\s]{1}depth[\s]{1}restoration[\s]{1}via[\s]{1}energy[\s]{1}minimization[\s]{1}with[\s]{1}TV21[\s]{1}regularization[C]∥2013[\s]{1}IEEE[\s]{1}International[\s]{1}Conference[\s]{1}on[\s]{1}Image[\s]{1}Processing,[\s]{1}September[\s]{1}15-18,[\s]{1}2013,[\s]{1}Melbourne,[\s]{1}Australia.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2014:[\s]{1}724-[\s]{1}727.[\s]{1}

[10] LuS,[\s]{1}Ren[\s]{1}XF,[\s]{1}LiuF.[\s]{1}Depth[\s]{1}enhancement[\s]{1}via[\s]{1}low-rank[\s]{1}matrix[\s]{1}completion[C]∥2014[\s]{1}IEEE[\s]{1}Conference[\s]{1}on[\s]{1}Computer[\s]{1}Vision[\s]{1}and[\s]{1}Pattern[\s]{1}Recognition,[\s]{1}June[\s]{1}23-28,[\s]{1}2014,[\s]{1}Columbus,[\s]{1}OH,[\s]{1}USA.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2014:[\s]{1}3390-[\s]{1}3397.[\s]{1}

[11] Song[\s]{1}XB,[\s]{1}Huang[\s]{1}HY,[\s]{1}ZhongF,[\s]{1}et[\s]{1}al.[\s]{1}Edge-guided[\s]{1}depth[\s]{1}map[\s]{1}enhancement[C]∥2016[\s]{1}23rd[\s]{1}International[\s]{1}Conference[\s]{1}on[\s]{1}Pattern[\s]{1}Recognition[\s]{1}(ICPR),[\s]{1}December[\s]{1}4-8,[\s]{1}2016,[\s]{1}Cancun.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2016:[\s]{1}2758-[\s]{1}2763.[\s]{1}

[12] 谭志国, 欧建平, 张军, 等. 一种层析深度图像去噪算法[J]. 光学学报, 2017, 37(5): 0510002.

Tan Z G, Ou J P, Zhang J, et al. A laminar denoising algorithm for depth image[J]. Acta Optica Sinica, 2017, 37(5): 0510002.

[13] Chang T A, Liao W C, Yang J F. Robust depth enhancement based on texture and depth consistency[J]. IET Signal Processing, 2018, 12(1): 119-128.

[14] Zhang[\s]{1}YD,[\s]{1}FunkhouserT.[\s]{1}Deep[\s]{1}depth[\s]{1}completion[\s]{1}of[\s]{1}a[\s]{1}single[\s]{1}RGB-D[\s]{1}image[C]∥2018[\s]{1}IEEE/CVF[\s]{1}Conference[\s]{1}on[\s]{1}Computer[\s]{1}Vision[\s]{1}and[\s]{1}Pattern[\s]{1}Recognition,[\s]{1}June[\s]{1}18-23,[\s]{1}2018,[\s]{1}Salt[\s]{1}Lake[\s]{1}City,[\s]{1}UT,[\s]{1}USA.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2018:[\s]{1}175-[\s]{1}185.[\s]{1}

[15] He[\s]{1}KM,[\s]{1}SunJ,[\s]{1}Tang[\s]{1}XO.[\s]{1}Guided[\s]{1}image[\s]{1}filtering[M][\s]{1}∥Daniilidis[\s]{1}K,[\s]{1}Maragos[\s]{1}P,[\s]{1}Paragios[\s]{1}N.[\s]{1}Computer[\s]{1}vision-ECCV[\s]{1}2010.[\s]{1}Lecture[\s]{1}notes[\s]{1}in[\s]{1}computer[\s]{1}science.[\s]{1}Berlin,[\s]{1}Heidelberg:[\s]{1}Springer,[\s]{1}2010,[\s]{1}6311:[\s]{1}1-[\s]{1}14.[\s]{1}

[16] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[17] 赵旭.[\s]{1}Kinect深度图像修复技术研究[D].[\s]{1}大连:[\s]{1}大连理工大学,[\s]{1}2013:[\s]{1}16-[\s]{1}18.[\s]{1}

ZhaoX.[\s]{1}The[\s]{1}research[\s]{1}on[\s]{1}kinect[\s]{1}depth[\s]{1}image[\s]{1}inpainting[\s]{1}technique[D].[\s]{1}Dalian:[\s]{1}Dalian[\s]{1}University[\s]{1}of[\s]{1}Technology,[\s]{1}2013:[\s]{1}16-[\s]{1}18.[\s]{1}

[18] ScharsteinD,[\s]{1}PalC.[\s]{1}Learning[\s]{1}conditional[\s]{1}random[\s]{1}fields[\s]{1}for[\s]{1}stereo[C]∥2007[\s]{1}IEEE[\s]{1}Conference[\s]{1}on[\s]{1}Computer[\s]{1}Vision[\s]{1}and[\s]{1}Pattern[\s]{1}Recognition,[\s]{1}June[\s]{1}17-22,[\s]{1}2007,[\s]{1}Minneapolis,[\s]{1}MN,[\s]{1}USA.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2007:[\s]{1}383191.[\s]{1}

[19] KimC,[\s]{1}YunS,[\s]{1}Jung[\s]{1}SW,[\s]{1}et[\s]{1}al.[\s]{1}Color[\s]{1}and[\s]{1}depth[\s]{1}image[\s]{1}correspondence[\s]{1}for[\s]{1}Kinect[\s]{1}v2[M][\s]{1}∥Park[\s]{1}J,[\s]{1}Chao[\s]{1}H[\s]{1}C,[\s]{1}Arabnia[\s]{1}H,[\s]{1}et[\s]{1}al.[\s]{1}Advanced[\s]{1}multimedia[\s]{1}and[\s]{1}ubiquitous[\s]{1}engineering.[\s]{1}Lecture[\s]{1}notes[\s]{1}in[\s]{1}electrical[\s]{1}engineering.[\s]{1}Berlin,[\s]{1}Heidelberg:[\s]{1}Springer,[\s]{1}2015,[\s]{1}352:[\s]{1}111-[\s]{1}116.[\s]{1}

[20] 刘继忠, 吴文虎, 程承, 等. 基于像素滤波和中值滤波的深度图像修复方法[J]. 光电子·激光, 2018, 29(5): 539-544.

Liu J Z, Wu W H, Cheng C, et al. Depth image inpainting method based on pixel filtering and median filtering[J]. Journal of Optoelectronics·Laser, 2018, 29(5): 539-544.

王得成, 陈向宁, 易辉, 赵峰. 基于自适应联合双边滤波的深度图像空洞填充与优化算法[J]. 中国激光, 2019, 46(10): 1009002. Decheng Wang, Xiangning Chen, Hui Yi, Feng Zhao. Hole Filling and Optimization Algorithm for Depth Images Based on Adaptive Joint Bilateral Filtering[J]. Chinese Journal of Lasers, 2019, 46(10): 1009002.

基于自适应联合双边滤波的深度图像空洞填充与优化算法下载： 1644次

1 引言

2 算法原理

2.1 联合双边滤波算法

2.2 改进的自适应深度图像修复算法

图 1. 改进的自适应深度图像修复算法示意图

Fig. 1. Diagram of improved adaptive depth image inpainting algorithm

3 实验结果与分析

3.1 彩色与深度图像配准过程

图 2. Kinect v2传感器采集图像的配准结果。(a)彩色图像; (b)深度图像

Fig. 2. Image registration results acquired from Kinect v2 sensor. (a) Color image; (b) depth image

3.2 改进的自适应深度图像修复结果

图 3. Middlebury数据集中部分深度图像的空洞添加和修复结果。(a)原始彩色图像; (b)原始深度图像;(c)添加空洞模拟噪声的深度图像及细节; (d)本文方法改善后的深度图像及细节

Fig. 3. Hole addition and inpainting results of partial depth images in Middlebury dataset. (a) Original color images; (b) original depth images; (c) depth images and details after adding holes to simulate noise; (d) depth images and details improved by proposed method

表 1. 基于Middlebury数据集部分图像修复的量化指标

Table 1. Quantitative indicators based on partial image restoration on Middlebury dataset

3.3 本文算法与其他方法的对比结果

图 4. 本文算法与其他方法实验结果对比。(a)原始彩色图像;(b)原始深度图像;(c)联合双边滤波法结果;(d)文献[ 20]方法结果;(e)本文算法结果

Fig. 4. Comparison of results obtained by proposed method and other methods. (a) Original color images; (b) original depth images; (c) results of joint bilateral filter; (d) results of Ref. [20]; (e) results of propsoed algorithm

图 5. 本文算法与其他方法基于Middlebury数据集的RMSE对比结果

Fig. 5. RMSE comparison of proposed algorithm and other methods based on the Middlebury dataset

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于自适应联合双边滤波的深度图像空洞填充与优化算法 下载： 1644次

1 引言

2 算法原理

2.1 联合双边滤波算法

2.2 改进的自适应深度图像修复算法

图 1. 改进的自适应深度图像修复算法示意图

Fig. 1. Diagram of improved adaptive depth image inpainting algorithm

3 实验结果与分析

3.1 彩色与深度图像配准过程

图 2. Kinect v2传感器采集图像的配准结果。(a)彩色图像; (b)深度图像

Fig. 2. Image registration results acquired from Kinect v2 sensor. (a) Color image; (b) depth image

3.2 改进的自适应深度图像修复结果

图 3. Middlebury数据集中部分深度图像的空洞添加和修复结果。(a)原始彩色图像; (b)原始深度图像;(c)添加空洞模拟噪声的深度图像及细节; (d)本文方法改善后的深度图像及细节

Fig. 3. Hole addition and inpainting results of partial depth images in Middlebury dataset. (a) Original color images; (b) original depth images; (c) depth images and details after adding holes to simulate noise; (d) depth images and details improved by proposed method

表 1. 基于Middlebury数据集部分图像修复的量化指标

Table 1. Quantitative indicators based on partial image restoration on Middlebury dataset

3.3 本文算法与其他方法的对比结果

图 4. 本文算法与其他方法实验结果对比。(a)原始彩色图像;(b)原始深度图像;(c)联合双边滤波法结果;(d)文献[ 20]方法结果;(e)本文算法结果

Fig. 4. Comparison of results obtained by proposed method and other methods. (a) Original color images; (b) original depth images; (c) results of joint bilateral filter; (d) results of Ref. [20]; (e) results of propsoed algorithm

图 5. 本文算法与其他方法基于Middlebury数据集的RMSE对比结果

Fig. 5. RMSE comparison of proposed algorithm and other methods based on the Middlebury dataset

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于自适应联合双边滤波的深度图像空洞填充与优化算法下载： 1644次