结合同场景彩色图像的深度图超分辨率重建

王宇; 朴燕; 孙荣春

doi:doi:10.3788/AOS201737.0810002

光学学报, 2017, 37 (8): 0810002, 网络出版: 2018-09-07

结合同场景彩色图像的深度图超分辨率重建下载： 887次

Depth Image Super-Resolution Construction Combined with High-Resolution Color Image of the Same Scene

论文大纲

王宇 ^*朴燕孙荣春

作者单位

长春理工大学电子信息工程学院, 吉林长春130022

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对飞行时间相机获取深度图像分辨率低,并受成像噪声干扰的问题,提出一种插值深度图和高分辨率彩色图像联合约束的二阶广义全变分(TGV)深度图超分辨率重建方法。首先利用传统插值和多尺度形态学方法进行预处理,获取插值深度图的梯度信息,然后将插值深度图和同场景高分辨率彩色图像两者的梯度信息联合,对二阶TGV模型中的正则化项加以优化:计算各项异性扩散张量时结合插值深度图的梯度信息;引入由插值深度图梯度信息决定的加权因子,控制重建过程中扩散强度。最后通过原始对偶算法完成深度图的超分辨率重建。实验结果表明,本文方法在抑制噪声的基础上,有效保护了深度边缘,可以获得较好的高分辨率深度图像。

Abstract

In terms of the low resolution of the depth image subjects to imaging noise interference acquired by time of flight camera, a second-order total generalized variation(TGV) depth image super-resolution reconstruction method based on the joint constraint of interpolated depth image and high resolution color image is proposed. Firstly, to obtain the gradient information of the interpolated depth image, the depth image with low-resolution is preprocessed by using the traditional interpolation and the multi-scale morphology methods. Then, the gradient information of the interpolated depth image and the high-resolution color image of the same scene are combined, and the regularization term in the second-order TGV model can be optimized as follows, the gradient information of the interpolated depth image is combined in calculating the anisotropic diffusion tensor. And to control the diffusion intensity during the reconstruction, a weighting factor determined by the gradient information of the interpolated depth image is introduced. Finally, the primal-dual algorithm is performed to complete the high-resolution reconstruction of the depth image. Experimental results show that the proposed method can effectively preserve the depth edge on the basis of the noise suppression, and a better high-resolution depth image can be achieved.

1 引言

准确、高分辨率的深度测量一直是计算机视觉领域的研究重点和热点,可用于物体识别、机器导航、自动辅助驾驶等。传统的计算机视觉方法是通过复杂的立体计算或者成本较高的激光距离测量技术来获取场景深度的 ^{[
1
-
2
]} 。

基于飞行时间(TOF)原理的三维测距相机,通过测量主动光线发射到物体表面后反射回来的时间差计算出物体表面的距离信息,可以实时地采集到物体表面的三维几何信息,受场景纹理和环境光照条件的影响非常小,是对传统三维信息获取方法的一种突破,势必促进相关领域的发展。但由于传感器硬件条件的限制,它们得到的深度图像分辨率非常低,并且受到成像噪声干扰,限制了TOF相机的市场推广与应用。

为提高深度图像分辨率,目前已经有一些关于深度图像超分辨率算法的研究 ^{[
3
-
14
]} 。主要有两种思路:1)只利用深度图像的超分辨率算法。最简单的深度图像超分辨率方法可通过图像插值实现,但插值后的深度图像在物体边缘区域十分模糊,无法满足许多后续应用的要求。利用序列深度图像的超分辨率重建方法 ^{[
6
-
7
]} ,需要多帧深度图像之间的亚像素位移信息,很难保证实时性,而且TOF相机采集深度的随机误差会对多帧图像之间的运动估计及配准产生比较大的影响。2)结合同场景高分辨率彩色图像的超分辨率算法。Yang等 ^{[
8
]} 利用双边滤波函数指导深度图的超分辨率重建。Diebel等 ^{[
9
]} 运用马尔科夫随机场建立彩色图像和深度图像之间的联系,通过构建的能量最优解实现深度图像的超分辨率重建。Lu等 ^{[
10
]} 采用了改进的马尔科夫随机场。Park等 ^{[
11
]} 引入非局部均值滤波的平滑约束能量项, 应用于TOF相机采集得到的深度图像。Kopf等 ^{[
12
]} 和He等 ^{[
13
]} 分别采用联合双边滤波函数和引导图像滤波函数指导深度图超分辨率重建。Ferstl等 ^{[
14
]} 在全局优化能量函数中采用二阶广义全变分(TGV)作为深度图像的高阶先验约束,在优化过程中,利用由彩色图像计算得到的张量引导深度图像的超分辨率重建。

本文在二阶TGV模型的基础上,充分利用低分辨率深度图插值放大后的深度边缘和同场景彩色图像的梯度信息,提出联合约束的二阶TGV深度超分辨率重建方法,该方法在有效抑制噪声的基础上,能够保持深度图在对象边界处的不连续性,获得较好的超分辨率重建质量。

2 二阶TGV深度图超分辨率重建模型

文献[ 14 ]利用高分辨率彩色图像的边缘线索提高深度图分辨率。设高分辨率深度图和彩色图分别表示为 D_H 、 I_H ,低分辨率深度图表示为 D_L ,其中, I_H , D_H : Ω_H ⊆ R² , D_L : Ω_L ⊆ R² 。 Ω 表示定义域, R 表示欧氏空间。首先将低分辨率深度传感器测量的深度数据映射到高分辨率彩色图像空间,得到稀疏深度图 D_s ,则 D_H 定义为

\begin{matrix} D_{H} = \underset{u}{argmin} [G (u, D_{s}) + αF (u)], (1) \end{matrix}

式中 u 为待求解的高分辨率深度图像, G ( u , D_s )是测量 u 与 D_s 之间保真度的数据项, F ( u )是正则化项,这里采用二阶TGV正则化项。常数 α 用于平衡数据项和正则化项对重构结果的影响。数据项和正则项分别定义为

\begin{matrix} \begin{matrix} G (u, D_{s}) = \int w {|(u - D_{s})|}^{2} dx, (2) \\ T_{GV_α}^{2} = \min_{v} {α_{1} \int |T^{\frac{1}{2}} (\nabla u - v)| dx + α_{0} \int |\nabla v| dx}, (3) \end{matrix} \end{matrix}

式中 w 是用来加权深度测量值的加权因子( w= [0,1]∈ R ^Ω^H ),在没有映射深度值的图像点 w 为0, v 是辅助变量, α₀ 、 α₁ 是非负权重系数。 T^1/2 是利用高分辨率彩色图像计算的各项异性扩散张量,能够在彩色图像边缘位置产生比较尖锐的深度边缘。

\begin{matrix} T^{\frac{1}{2}} = \exp (- β {|\nabla I_{H}|}^{γ}) n n^{T} + n^{⊥} n^{⊥ T} 。 (4) \end{matrix}

式中 n = $\begin{matrix} \nabla \end{matrix}$ I_H / $\begin{matrix} |\nabla I_{H}| \end{matrix}$ 是彩色图像的梯度方向, n^⊥ 与 n 相垂直,常数 β 和 γ 是用于控制扩散张量幅度和尖锐度的因子。

3 插值深度图和彩色图约束的二阶TGV深度图超分辨率重建

结合同场景彩色图像的深度图超分辨率重建,其理论基础是同场景的彩色图像和深度图像在颜色和深度上往往存在相似的不连续性 ^{[
15
]} ,但有时彩色图像和深度图的边缘也不是完全具有这种关系的,需要同时结合高分辨率彩色图像和深度图的深度边缘信息,对重建的高分辨率深度图进行引导优化,获得更好的效果。因此,提出采用传统的插值方法,获得与彩色图像一样分辨率的初始深度图,再利用初始高分辨率深度图提供的深度边缘信息,从以下两个方面对二阶TGV正则化项进行优化:1)计算扩散张量 T^1/2 时,利用彩色图像信息,同时结合初始高分辨率深度图的梯度信息,可以避免深度值相同但对应的彩色图像有纹理变化的区域产生错误重建。2)在二阶TGV正则项中引入由初始高分辨率深度图梯度信息决定的加权因子,对于深度不连续区域,加权因子较小,扩散较弱,可以较好地保护深度图像边缘;反之,深度变化平缓区域,加权因子较大,这时扩散较强,有利于去除噪声。

3.1 低分辨率深度图的预处理

低分辨率深度图的预处理步骤主要是为了获得比较准确的深度梯度图,梯度图分辨率与彩色图像分辨率一致。首先将低分辨率深度图 D_L 插值放大为 D_itp ,获得与彩色图像一样的分辨率。传统的图像插值算法有最近邻插值、双线性插值、双三次插值等,本文采用双线性插值。

TOF相机采集的深度图像具有噪声干扰,因此对深度图像进行边缘检测之前需要进行有效地抑制噪声。常用的边缘检测算子如 Canny、Sobel算子常常在检测边缘的同时加强噪声,而形态学边缘检测器不会放大噪声。形态学梯度算子的性能取决于结构元素的大小,尺度大的结构元素去噪能力强,但会模糊图像细节;尺度小的结构元素能保持图像的细节信息,但是去噪能力弱。所以,采用多尺度形态学的去噪和梯度计算方法。

形态学滤除噪声算法 ^{[
16
]} 如下:

\begin{matrix} M_{t} (i, j) = \{[f (i, j) \cdot b_{t} (i, j)] ° b_{t} (i, j)\} \cdot b_{t} (i, j), (5) \end{matrix}

式中 f ( x , y )为输入图像, b _t ( x , y )为不同尺寸的结构元素,“·”表示闭运算,可以消除比结构元素尺寸小的暗细节,“􀳱”表示开运算,用来消除比结构元素尺寸小的亮细节。

对滤除噪声后的图像,计算形态学梯度如下:

\begin{matrix} G_{M}^{(t)} (i, j) = [M_{t} (i, j) \oplus b_{t} (i, j) - M_{t} (i, j) Θ b_{t} (i, j)] Θ b_{t} (i, j), (6) \end{matrix}

式中⊕表示膨胀运算,☉表示腐蚀运算。结合(5)和(6)式,可以得到多尺度形态学梯度为

\begin{matrix} G_{M}^{N} (i, j) = \frac{1}{N} \overset{N}{\sum_{t = 1}} G_{M}^{(t)} (i, j) 。 (7) \end{matrix}

经过上述预处理步骤,可以很好地抑制深度图像噪声,计算的形态学梯度为下一步有效提取深度边缘奠定良好的基础。

3.2 二阶TGV正则项的优化

同场景的彩色图像和深度图像在颜色和深度上往往存在相似的不连续性,但有时彩色图像和深度图的边缘也不是完全对应的。位于同样深度位置的物体有时也具有丰富的纹理和颜色变化,为了避免这种情况下出现错误的深度边缘,在二阶TGV正则项计算 T^1/2 时,本文提出同时考虑彩色图像的梯度信息和插值深度图的梯度信息。3.1节计算的插值深度图形态学梯度 $\begin{matrix} G_{M}^{N} \end{matrix}$ =0的区域,就是没有深度变化的区域,应该将其所对应的彩色图像梯度值进行抑制,这样可以避免由于彩色图像存在颜色变化而产生虚假的深度边缘。

\begin{matrix} G_{M_label} (i, j) = \{\begin{matrix} 0, & {G^{N}}_{M} (i, j) = 0 \\ 1, & otherwise \end{matrix}, (8) \end{matrix}

式中 G_{M_label} 为0、1矩阵,标记深度图梯度 $\begin{matrix} G_{M}^{N} \end{matrix}$ 是否为0。

\begin{matrix} T^{\frac{1}{2}} = \exp (- β {|\nabla C_{H}|}^{γ}) n n^{T} + n^{⊥} n^{⊥ T} 。 (9) \end{matrix}

式中 $\begin{matrix} \nabla \end{matrix}$ C_H = G_{M_label} $\begin{matrix} \nabla \end{matrix}$ I_H 。 n = $\begin{matrix} \nabla \end{matrix}$ C_H / $\begin{matrix} |\nabla C_{H}| \end{matrix}$ , n^⊥ 与 n 相垂直。

另外,本文方法在二阶TGV正则项中引入由插值深度图像 D_itp 边缘决定的加权因子 s_Ditp ,对于深度图像的边缘区域,加权因子 s_Ditp 应该较小,这时扩散较弱,可以较好地保护深度图像边缘。因为深度图受噪声干扰,其梯度 $\begin{matrix} G_{M}^{N} \end{matrix}$ 中非零、但值较小的位置有可能是噪声干扰的结果,不一定对应深度的变化,只有梯度较大的位置才是深度边缘。所以,本文方法只对深度图像边缘引入加权因子 s_Ditp 。对 $\begin{matrix} G_{M}^{N} \end{matrix}$ 进行二值化处理,采用最大类间方差法计算分割阈值,得到二值图像 G_{M_bw} 。 G_{M_bw} 中值为1的像素对应深度边缘。 s_Ditp 计算如下:

\begin{matrix} s_{Ditp} = 1 / [1 + \frac{G_{M_bw}}{\max ({G^{N}}_{M})}] 。 (10) \end{matrix}

从(10)式可以看出,当 G_{M_bw} 中值为0时,表示不是深度边缘, s_Ditp =1,没有进行加权;当 G_{M_bw} 中值为1时,表示此处存在深度边缘, s_Ditp <1,扩散较弱,可以较好地保护深度图像边缘。

优化后的二阶TGV深度图超分辨率重建的目标函数定义为

\begin{matrix} \min_{u, v} \{α_{1} \int s_{Ditp} |T^{\frac{1}{2}} (\nabla u - v)| dx + α_{0} \int |\nabla v| dx + \int w {|(u - D_{s})|}^{2} dx\} 。 (11) \end{matrix}

3.3 目标函数求解

利用原始对偶算法 ^{[
17
-
18
]} 对(11)式进行求解,根据Legendre-Fenchel对偶原理,(11)式的对偶形式为

\begin{matrix} \min_{u \in R^{MN}, v \in R^{2 MN}} \max_{p \in P, q \in Q} α_{1} s_{Ditp} < T^{\frac{1}{2}} (\nabla u - v), p > + α_{0} < \nabla v, q > + \sum_{i, j \in Ω} w_{i, j} (u_{i, j} - D_{s_{i, j}})^{2}, (12) \end{matrix}

式中 u 、 v 是原始变量, p 、 q 是对偶变量,凸集 P 、 Q 分别定义为

\begin{matrix} \begin{matrix} P = {p : Ω_{H} \to R^{2} |‖ p_{i, j} ‖ \leq 1, \forall i, j \in Ω_{H}}, (13) \\ Q = {q : Ω_{H} \to R^{4} |‖ q_{i, j} ‖ \leq 1, \forall i, j \in Ω_{H}} 。 (14) \end{matrix} \end{matrix}

初始值选择为: u⁰=D_s , $\begin{matrix} {\bar{u}}^{0} \end{matrix}$ = D_s 、 v⁰ 、 $\begin{matrix} {\bar{v}}^{0} \end{matrix}$ 、 p⁰ 、 q⁰ =0。其中, D_s 为深度图像 D_L 映射到高分辨的稀疏深度图。迭代过程为

\begin{matrix} \{\begin{matrix} p^{n + 1} = J_{proj - p} {p^{n} + σ_{p} α_{1} s_{Ditp} [T^{\frac{1}{2}} (\nabla \nabla {\bar{u}}^{n} - {\bar{v}}^{n})]} \\ q^{n + 1} = {J_{proj -}}_{q} {q^{n} + σ_{q} α_{0} \nabla {\bar{v}}^{n}} \\ u^{n + 1} = \frac{u^{n} + τ_{u} (α_{1} s_{Ditp} \nabla^{T} \nabla T^{\frac{1}{2}} p^{n + 1} + w D_{s})}{1 + τ_{u} w} \\ v^{n + 1} = v^{n} + τ_{v} (α_{0} \nabla^{T} q^{n + 1} + α_{1} T^{\frac{1}{2}} p^{n + 1}) \\ {\bar{u}}^{n + 1} = u^{n + 1} + θ (u^{n + 1} - {\bar{u}}^{n}) \\ {\bar{v}}^{n + 1} = v^{n + 1} + θ (v^{n + 1} - {\bar{v}}^{n}) \end{matrix} 。 (15) \end{matrix}

式中 θ ∈[0,1]为控制超松弛迭代的松弛因子,在每次迭代中根据文献[ 17 ]进行更新; σ _p 、 σ _q 、 τ _u 、 τ _v >0,分别为对偶变量 p 、 q 和原始变量 u 、 v 的步长,采用预条件技术 ^{[
19
]} 计算最优步长; J_proj-p 和 J_proj-q 分别为 p 、 q 的投影算子,定义为

\begin{matrix} \begin{matrix} J_{proj - p} {{\tilde{p}}_{i, j}} = \frac{{\tilde{p}}_{i, j}}{\max (1, |{\tilde{p}}_{i, j}|)}, (16) \\ J_{proj - q} {{\tilde{q}}_{i, j}} = \frac{{\tilde{q}}_{i, j}}{\max (1, |{\tilde{q}}_{i, j}|)} 。 (17) \end{matrix} \end{matrix}

3.4 算法实现

本文提出的插值深度图和彩色图像联合约束的二阶TGV深度图超分辨率重建方法,可以利用同场景的低分辨率深度图 D_L 和高分辨率彩色图 I_H ,获得高分辨率深度图 D_H 。具体实现如下:

1) 将 D_L 映射到高分辨率空间,得到与 I_H 相同分辨率的稀疏深度图 D_s ;对 D_L 进行双线性插值放大到分辨率与 I_H 相同,记为 D_itp ,计算其多尺度形态学梯度 $\begin{matrix} G_{M}^{N} \end{matrix}$ 。

2) 初始化: u⁰ 、 $\begin{matrix} {\bar{u}}^{0} \end{matrix}$ = D_s , v⁰ 、 $\begin{matrix} {\bar{v}}^{0} \end{matrix}$ =0, p⁰ 、 q⁰ =0, n =0,设置参数 α₀ 、 α₁ 、 β 、 γ 和最大的迭代次数 n_um 或者迭代阈值 t_ol 。 σ_p 、 σ_q 、 τ_u 、 τ_v 、 θ 是在迭代过程中不断更新的。

3) 根据(15)式进行第 n +1次迭代,更新对偶变量 p 、 q 和原始变量 u 、 v 。

4) 当 $\begin{matrix} |u^{n + 1} - u^{n}| \end{matrix}$ <t_ol 或者 n>n_um 时,迭代结束,输出 u ,获得高分辨率深度图像 D_H 。

4 实验结果与分析

为了验证本文方法的有效性,对Middlebury2007数据集 ^{[
20
-
21
]} 进行实验分析,采用文献[ 14 ]提供的下采样倍数为4的含高斯噪声的art、moebius、books低分辨率深度图像,分辨率为344 pixel×272 pixel。同场景彩色图像分辨率为1376 pixel×1088 pixel,分别利用本文算法和最近邻插值、双线性插值、双三次插值、文献[ 9 ]方法、文献[ 11 ]方法、文献[ 14 ]方法重建高分辨率深度图。

文献[ 9 ]方法、文献[ 11 ]方法的实验结果图像和文献[ 14 ]方法的Matlab程序从网站下载,为了方便比较,本文方法和文献[ 14 ]方法的参数设置保持一致,采用文献中提供的参数值, β =9、 γ =0.85、 t_ol =0.1、 n_um =1000, α₀ =0.05、 α₁ =0.0056。

图1 ~3为深度图超分辨率重建的实验结果, 图1 (a)、图2 (a)和图3 (a)分别为art、moebius、books的高分辨率彩色图, 图1 (b)、2(b)和3(b)分别为加有噪声的低分辨率深度图。为了方便观察重建图像细节, 图1 ~3的(c)~(i)分别为采用不同方法重建的局部图像,即图1 ~3的(b)中红色框区域的超分辨率重建结果。图1 ~3的(j)为数据集提供的真实深度图。

图 1. art实验结果。(a) RGB图;(b)低分辨率深度图;(c)最近邻插值;(d)双线性插值;(e)双三次插值;(f)文献[ 9 ]方法;(g)文献[ 11 ]方法;(h)文献[ 14 ]方法;(i)本文方法;(j)真实深度图

Fig. 1. Experimental results of art. (a) RGB image; (b) low resolution depth image; (c) nearest interpolation;(d) bilinear interpolation; (e) bicubic interpolation; (f) Ref. [9] method; (g) Ref. [11] method;(h) Ref. [14] method; (i) proposed method; (j) true depth image

下载图片查看所有图片

图 2. moebius实验结果。(a) RGB图;(b)低分辨率深度图;(c)最近邻插值;(d)双线性插值;(e)双三次插值;(f)文献[ 9 ]方法;(g)文献[ 11 ]方法;(h)文献[ 14 ]方法;(i)本文方法;(j)真实深度图

Fig. 2. Experimental results of moebius. (a) RGB image; (b) low resolution depth image; (c) nearest interpolation;(d) bilinear interpolation; (e) bicubic interpolation; (f) Ref. [9] method; (g) Ref. [11] method;(h) Ref. [14] method; (i) proposed method; (j) true depth image

下载图片查看所有图片

图 3. books实验结果。(a) RGB图;(b)低分辨率深度图;(c)最近邻插值;(d)双线性插值;(e)双三次插值;(f)文献[ 9 ]方法;(g)文献[ 11 ]方法;(h)文献[ 14 ]方法;(i)本文方法;(j)真实深度图

Fig. 3. Experimental results of books. (a) RGB image; (b) low resolution depth image; (c) nearest interpolation;(d) bilinear interpolation; (e) bicubic interpolation; (f) Ref. [9] method; (g) Ref. [11] method;(h) Ref. [14] method; (i) proposed method; (j) true depth image

下载图片查看所有图片

从图1 ~3可以看出,传统插值方法的重建图像受噪声干扰严重,文献[ 9 ]方法去噪效果不明显,文献[ 11 ]方法、文献[ 14 ]方法和本文方法能够较好地抑制噪声,图像的重建质量有了明显改善。对比图1 ~3中的(g)~(i),本文方法能够获得更清晰的深度边缘,例如,art图像中三只画笔的右下部分边缘,books图像中间的竖直边缘。另外,在彩色图像具有丰富纹理变化但对应深度值平缓变化的区域,本文方法能够较好地保持深度的平滑过渡,而其他方法会受到一些干扰。例如, 图1 (g)右下方笔盒的深度不均匀, 图1 (h)下面那支画笔的深度图受到了黑色纹理的干扰, 图2 (h)左侧黄色球和图3 (h)右侧书籍封面都出现了深度值受彩色图像颜色变化影响的现象。

为了客观分析超分辨率重建的结果,采用均方根误差 E_rms 作为图像质量的评价标准。 E_rms 计算公式为

\begin{matrix} E_{rms} = \sqrt[]{\frac{\overset{M}{\sum_{i = 1}} (f_{i} - f_{i}^{*})^{2}}{M}} 。 (18) \end{matrix}

式中 f 为原始高分辨率深度图像, f^* 为重构的高分辨率深度图像, M 为像素总数。

表1 给出了art、books、moebius重建深度图的 E_rms 值做为指标进行定量分析,可以看出,本文方法的 E_rms 值优于其他几种方法的 E_rms 。

表 1. 均方根误差比较

Table 1. Comparison of root-mean-square error

E_rms	Art	Books	Moebius
Nearest interpolation	7.48	6.31	6.78
Bilinear interpolation	5.62	4.31	4.56
Bicubic interpolation	6.07	5.16	5.52
Ref. [9] method	4.51	3.00	3.11
Ref. [11] method	4.56	2.61	2.51
Ref. [14] method	4.38	2.64	2.67
Proposed method	4.05	2.41	2.49

查看所有表

5 结论

在优化文献[ 14 ]二阶TGV模型正则化项基础上,提出了一种插值深度图和彩色图像联合约束的二阶TGV深度超分辨率重建方法。利用多尺度形态学预处理,获取插值深度图的梯度信息,然后将插值深度图和高分辨率彩色图像两者的梯度信息联合,构造二阶TGV正则项,通过原始对偶算法求解完成深度图的超分辨率重建。实验结果表明,该方法可以获得质量较好的高分辨率深度图像。其中, α₀ 、 α₁ 等参数对重建质量和算法收敛速度影响很大,因此,下一步研究内容应该考虑如何结合图像特征、超分辨率倍数等因素,选择合适参数,获得最优的重建效果。

参考文献

[1] 王琪龙, 李建勇, 沈海阔. 双目视觉-激光测距传感器目标跟踪系统[J]. 光学学报, 2016, 36(9): 0912002.

王琪龙, 李建勇, 沈海阔. 双目视觉-激光测距传感器目标跟踪系统[J]. 光学学报, 2016, 36(9): 0912002.

Wang Qilong, Li Jianyong, Shen Haikuo. Target tracking system of binocular vision and laser range sensor[J]. Acta Optica Sinica, 2016, 36(9): 0912002.

[2] 李熙, 汤儒峰, 李祝莲, 等. 基于二值图像的卫星激光测距数据处理[J]. 中国激光, 2014, 41(12): 1208005.

李熙, 汤儒峰, 李祝莲, 等. 基于二值图像的卫星激光测距数据处理[J]. 中国激光, 2014, 41(12): 1208005.

Li Xi, Tang Rufeng, Li Zhulian, et al. Laser ranging data processing based on the analysis of the binary image[J]. Chinese J Lasers, 2014, 41(12): 1208005.

[3] SchuonS , TheobaltC , DavisJ , et al . High-quality scanning using time-of-flight depth super-resolution[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition , 2008 : 1 - 7 .

SchuonS , TheobaltC , DavisJ , et al . High-quality scanning using time-of-flight depth super-resolution[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition , 2008 : 1 - 7 .

[4] YangY , WangZ . Range image super-resolution via guided image filter[C]. International Conference on Internet Multimedia Computing and Service , 2012 : 200 - 203 .

YangY , WangZ . Range image super-resolution via guided image filter[C]. International Conference on Internet Multimedia Computing and Service , 2012 : 200 - 203 .

[5] 邸维巍, 张旭东, 胡良梅, 等. 彩色图约束的二阶广义总变分深度图超分辨率重建[J]. 中国图象图形学报, 2014, 19(8): 1162-1167.

邸维巍, 张旭东, 胡良梅, 等. 彩色图约束的二阶广义总变分深度图超分辨率重建[J]. 中国图象图形学报, 2014, 19(8): 1162-1167.

Di Weiwei, Zhang Xudong, Hu Liangmei, et al. Depth image super-resolution based on second-order total generalized variation constrained by color image[J]. Journal of Image and Graphics, 2014, 19(8): 1162-1167.

[6] CuiY , SchuonS , ChanD , et al . 3D shape scanning with a time-of-flight camera[C]. Computer Vision and Pattern Recognition , 2010 : 1173 - 1180 .

CuiY , SchuonS , ChanD , et al . 3D shape scanning with a time-of-flight camera[C]. Computer Vision and Pattern Recognition , 2010 : 1173 - 1180 .

[7] SchuonS , TheobaltC , DavisJ , et al . LidarBoost: depth superresolution for ToF 3d shape scanning[C]. Computer Vision and Pattern Recognition , 2009 : 343 - 350 .

SchuonS , TheobaltC , DavisJ , et al . LidarBoost: depth superresolution for ToF 3d shape scanning[C]. Computer Vision and Pattern Recognition , 2009 : 343 - 350 .

[8] YangQ , YangR , DavisJ , et al . Spatial-depth super resolution for range images[C]. Computer Vision and Pattern Recognition , 2007 : 1 - 8 .

YangQ , YangR , DavisJ , et al . Spatial-depth super resolution for range images[C]. Computer Vision and Pattern Recognition , 2007 : 1 - 8 .

[9] DiebelJ , ThrunS . An application of markov random fields to range sensing[C]. Advances in Neural Information Processing Systems , 2005 : 291 - 298 .

DiebelJ , ThrunS . An application of markov random fields to range sensing[C]. Advances in Neural Information Processing Systems , 2005 : 291 - 298 .

[10] LuJ , MinD , Pahwa RS , et al . A revisit to MRF-based depth map super-resolution and enhancement[C]. IEEE International Conference on Acoustics, Speech and Signal Processing , 2011 : 985 - 988 .

LuJ , MinD , Pahwa RS , et al . A revisit to MRF-based depth map super-resolution and enhancement[C]. IEEE International Conference on Acoustics, Speech and Signal Processing , 2011 : 985 - 988 .

[11] ParkJ , KimH , Tai YW , et al . High quality depth map upsampling for 3D-TOF cameras[C]. IEEE International Conference on Computer Vision , 2012 : 1623 - 1630 .

ParkJ , KimH , Tai YW , et al . High quality depth map upsampling for 3D-TOF cameras[C]. IEEE International Conference on Computer Vision , 2012 : 1623 - 1630 .

[12] KopfJ , Cohen MF , LischinskiD , et al . Joint bilateral upsampling[C]. ACM Transactions on Graphics , 2007 .

KopfJ , Cohen MF , LischinskiD , et al . Joint bilateral upsampling[C]. ACM Transactions on Graphics , 2007 .

[13] HeK , SunJ , TangX . Guided image filtering[C]. European Conference on Computer Vision , 2010 : 1 - 14 .

HeK , SunJ , TangX . Guided image filtering[C]. European Conference on Computer Vision , 2010 : 1 - 14 .

[14] FerstlD , ReinbacherC , RanftlR , et al . Image guided depth upsampling using anisotropic total generalized variation[C]. IEEE International Conference on Computer Vision , 2013 : 993 - 1000 .

FerstlD , ReinbacherC , RanftlR , et al . Image guided depth upsampling using anisotropic total generalized variation[C]. IEEE International Conference on Computer Vision , 2013 : 993 - 1000 .

[15] TorralbaA , FreemanW . Properties and applications of shape recipes[C]. Computer Vision & Pattern Recognition , 2003 .

TorralbaA , FreemanW . Properties and applications of shape recipes[C]. Computer Vision & Pattern Recognition , 2003 .

[16] 张利红, 梁英波, 吴定允, 等. 基于改进多尺度形态学的带钢缺陷图像边缘检测[J]. 激光与红外, 2014, 44(3): 330-334.

张利红, 梁英波, 吴定允, 等. 基于改进多尺度形态学的带钢缺陷图像边缘检测[J]. 激光与红外, 2014, 44(3): 330-334.

Zhang Lihong, Liang Yingbo, Wu Dingyun, et al. Strip steel surface defects imaging edge inspection based on improved multi-scale morphology[J]. Laser & Infrared, 2014, 44(3): 330-334.

[17] Chambolle A, Pock T. A first-order primal-dual algorithm for convex problems with applications toimaging[J]. Journal of Mathematical Imaging and Vision, 2011, 40(1): 120-145.

Chambolle A, Pock T. A first-order primal-dual algorithm for convex problems with applications toimaging[J]. Journal of Mathematical Imaging and Vision, 2011, 40(1): 120-145.

[18] Esser E, Zhang X, Chan T. A general framework for a class of first order primal-dual algorithms for convex optimization in imagingscience[J]. Siam Journal on Imaging Sciences, 2010, 3(4): 1015-1046.

Esser E, Zhang X, Chan T. A general framework for a class of first order primal-dual algorithms for convex optimization in imagingscience[J]. Siam Journal on Imaging Sciences, 2010, 3(4): 1015-1046.

[19] PockT , ChambolleA . Diagonal preconditioning for first order primal-dual algorithms in convex optimization[C]. IEEE International Conference on Computer Vision , 2011 : 1762 - 1769 .

PockT , ChambolleA . Diagonal preconditioning for first order primal-dual algorithms in convex optimization[C]. IEEE International Conference on Computer Vision , 2011 : 1762 - 1769 .

[20] HirschmullerH , ScharsteinD . Evaluation of cost functions for stereo matching[C]. Computer Vision and Pattern Recognition , 2007 : 1 - 8 .

HirschmullerH , ScharsteinD . Evaluation of cost functions for stereo matching[C]. Computer Vision and Pattern Recognition , 2007 : 1 - 8 .

[21] ScharsteinD , PalC . Learning conditional random fields for stereo[C]. Computer Vision and Pattern Recognition , 2007 : 1 - 8 .

ScharsteinD , PalC . Learning conditional random fields for stereo[C]. Computer Vision and Pattern Recognition , 2007 : 1 - 8 .

1 引言

2 二阶TGV深度图超分辨率重建模型

3 插值深度图和彩色图约束的二阶TGV深度图超分辨率重建

王宇, 朴燕, 孙荣春. 结合同场景彩色图像的深度图超分辨率重建[J]. 光学学报, 2017, 37(8): 0810002. Yu Wang, Yan Piao, Rongchun Sun. Depth Image Super-Resolution Construction Combined with High-Resolution Color Image of the Same Scene[J]. Acta Optica Sinica, 2017, 37(8): 0810002.

结合同场景彩色图像的深度图超分辨率重建下载： 887次

1 引言

2 二阶TGV深度图超分辨率重建模型

3 插值深度图和彩色图约束的二阶TGV深度图超分辨率重建

3.1 低分辨率深度图的预处理

3.2 二阶TGV正则项的优化

3.3 目标函数求解

3.4 算法实现

4 实验结果与分析

图 1. art实验结果。(a) RGB图;(b)低分辨率深度图;(c)最近邻插值;(d)双线性插值;(e)双三次插值;(f)文献[ 9 ]方法;(g)文献[ 11 ]方法;(h)文献[ 14 ]方法;(i)本文方法;(j)真实深度图

Fig. 1. Experimental results of art. (a) RGB image; (b) low resolution depth image; (c) nearest interpolation;(d) bilinear interpolation; (e) bicubic interpolation; (f) Ref. [9] method; (g) Ref. [11] method;(h) Ref. [14] method; (i) proposed method; (j) true depth image

图 2. moebius实验结果。(a) RGB图;(b)低分辨率深度图;(c)最近邻插值;(d)双线性插值;(e)双三次插值;(f)文献[ 9 ]方法;(g)文献[ 11 ]方法;(h)文献[ 14 ]方法;(i)本文方法;(j)真实深度图

Fig. 2. Experimental results of moebius. (a) RGB image; (b) low resolution depth image; (c) nearest interpolation;(d) bilinear interpolation; (e) bicubic interpolation; (f) Ref. [9] method; (g) Ref. [11] method;(h) Ref. [14] method; (i) proposed method; (j) true depth image

图 3. books实验结果。(a) RGB图;(b)低分辨率深度图;(c)最近邻插值;(d)双线性插值;(e)双三次插值;(f)文献[ 9 ]方法;(g)文献[ 11 ]方法;(h)文献[ 14 ]方法;(i)本文方法;(j)真实深度图

Fig. 3. Experimental results of books. (a) RGB image; (b) low resolution depth image; (c) nearest interpolation;(d) bilinear interpolation; (e) bicubic interpolation; (f) Ref. [9] method; (g) Ref. [11] method;(h) Ref. [14] method; (i) proposed method; (j) true depth image

表 1. 均方根误差比较

Table 1. Comparison of root-mean-square error

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

结合同场景彩色图像的深度图超分辨率重建 下载： 887次

1 引言

2 二阶TGV深度图超分辨率重建模型

3 插值深度图和彩色图约束的二阶TGV深度图超分辨率重建

3.1 低分辨率深度图的预处理

3.2 二阶TGV正则项的优化

3.3 目标函数求解

3.4 算法实现

4 实验结果与分析

图 1. art实验结果。(a) RGB图;(b)低分辨率深度图;(c)最近邻插值;(d)双线性插值;(e)双三次插值;(f)文献[ 9 ]方法;(g)文献[ 11 ]方法;(h)文献[ 14 ]方法;(i)本文方法;(j)真实深度图

Fig. 1. Experimental results of art. (a) RGB image; (b) low resolution depth image; (c) nearest interpolation;(d) bilinear interpolation; (e) bicubic interpolation; (f) Ref. [9] method; (g) Ref. [11] method;(h) Ref. [14] method; (i) proposed method; (j) true depth image

图 2. moebius实验结果。(a) RGB图;(b)低分辨率深度图;(c)最近邻插值;(d)双线性插值;(e)双三次插值;(f)文献[ 9 ]方法;(g)文献[ 11 ]方法;(h)文献[ 14 ]方法;(i)本文方法;(j)真实深度图

Fig. 2. Experimental results of moebius. (a) RGB image; (b) low resolution depth image; (c) nearest interpolation;(d) bilinear interpolation; (e) bicubic interpolation; (f) Ref. [9] method; (g) Ref. [11] method;(h) Ref. [14] method; (i) proposed method; (j) true depth image

图 3. books实验结果。(a) RGB图;(b)低分辨率深度图;(c)最近邻插值;(d)双线性插值;(e)双三次插值;(f)文献[ 9 ]方法;(g)文献[ 11 ]方法;(h)文献[ 14 ]方法;(i)本文方法;(j)真实深度图

Fig. 3. Experimental results of books. (a) RGB image; (b) low resolution depth image; (c) nearest interpolation;(d) bilinear interpolation; (e) bicubic interpolation; (f) Ref. [9] method; (g) Ref. [11] method;(h) Ref. [14] method; (i) proposed method; (j) true depth image

表 1. 均方根误差比较

Table 1. Comparison of root-mean-square error

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

结合同场景彩色图像的深度图超分辨率重建下载： 887次