目前直接获取的深度图受其成像原理及硬件设备等因素的限制,存在分辨率低、边缘信息丢失等缺点,极大地影响了深度图的应用。针对这一问题,提出基于双通道卷积神经网络的深度图超分辨率重建模型。该模型由深、浅两个通道组成,21层的深层通道通过联合卷积与反卷积,结合跳跃连接与多尺度理论,实现深度图细节特征的快速学习;3层的浅层通道用于学习深度图的轮廓特征;最后融合深、浅两个通道,将细节与轮廓相结合,实现由低分辨率深度图到高分辨率深度图的端到端的学习。该模型充分利用卷积神经网络的学习能力自主提取深度图的有效特征,避免了手工提取特征的不准确性。在Middlebury RGBD数据集上的实验结果表明,本文模型在大采样因子8时仍能取得较好的效果,具有很高的实际应用价值。

针对传统深度图超分辨率重建算法需要人工提取特征、计算复杂度较高且不容易得到合适表示特征的问题,提出一种基于卷积神经网络(CNN)的深度图超分辨率重建算法。该算法不需要提前对特定的任务从图像中提取具体的手工特征,而是模拟人类的视觉系统对原始深度图进行层次化的抽象处理以自主地提取特征。该算法直接进行从低分辨率深度图到高分辨率深度图的映射学习。映射由7个卷积层和1个反卷积层联合实现。卷积操作学习丰富的图像特征,而反卷积实现上采样重建高分辨率的深度图。Middlebury RGBD数据集的实验结果表明,该模型得到的峰值信噪比(PSNR)较传统双三次插值算法平均提高了2.7235 dB,均方根误差(RMSE)平均降低了0.098;与经典CNN算法相比,PSNR平均提高了1.5244 dB,RMSE平均降低了0.043。