长春理工大学电子信息工程学院，吉林 长春 130012
针对彩色图像引导的深度图像超分辨率重建算法中存在的纹理转移和深度流失的问题，提出一种基于双特征融合引导的深度图像超分辨率重建网络（DF-Net）。为了充分利用深度和强度特征的关联性，在网络模型的深度恢复重建部分采用双通道融合模块（DCM）和双特征引导重建模块（DGM）。利用输入金字塔结构提取深度信息和强度信息的多尺度特征：DCM基于通道注意力机制对深度特征和强度特征进行通道间的特征融合与增强；DGM将深度、强度特征自适应选择融合后实现重建的双特征引导，增加了深度特征的引导作用，改善了纹理转移和深度流失的问题。实验结果表明，所提方法的峰值信噪比（PSNR）和均方根误差（RMSE）优于RMRF、JBU和Depth-Net等方法，尤其4×超分辨率重建结果的PSNR值比其他方法平均提升6.79 dB，RMSE平均下降0.94，取得了较好的深度图像超分辨率重建效果。
图像处理 图像超分辨率重建 卷积神经网络 深度图像 特征融合 通道注意力 激光与光电子学进展
2024, 61(8): 0837007
光学 精密工程
2022, 30(19): 2379
江西理工大学土木与测绘工程学院，江西 赣州 341000
针对深度图在边缘修复过程中受外部物体深度值的影响，造成深度值修复出现偏差的问题，提出了一种顾及边缘交融特征的自适应深度图空洞修复算法。首先，对深度图和RGB图的边缘进行提取、空洞伪边缘去除和边缘融合处理；然后，通过融合的边缘信息和有效像素占比设定滤波窗口大小，并根据滤波窗口与空间距离的关系设定空间距离权重参数，采用深度图与RGB图之间的结构相似性最大值作为颜色权重参数；最后，采用中值滤波去除边缘空洞像素和离散的噪声点。在Middle bury数据集和NYU Depth Dataset V2中对所提算法进行实验，并与其他算法进行对比分析。实验结果表明，所提算法能较好地修复边缘区域的空洞，保持较为清晰的物体边缘轮廓信息，具有较强的鲁棒性。
图像处理 深度图像 空洞修复 联合双边滤波 边缘提取 激光与光电子学进展
2022, 59(18): 1810016
中国矿业大学信息与控制工程学院，江苏 徐州 221116
随着3D视频的普及，虚拟视角合成（DIBR）技术被广泛应用在娱乐、**、教育等多个领域。DIBR技术作为虚拟视角合成的主流技术之一，其合成图像视频的质量是相应技术成功应用的关键，因此针对DIBR图像提出了一种基于统计特征的无参考质量评价模型。首先通过Benford定律对DIBR图像特有的纹理失真进行检测，再提取图像的discrete cosine transform（DCT）系数的离散值和自然场景统计特征。最后利用支持向量回归（SVR）对提取的特征进行训练，得出预测分数。在IVC、IETR和MCL-3D三个公开的图像数据集上的实验结果表明，所提方法与人类主观评价具有高度的一致性。
成像系统 图像质量评价 虚拟视角合成技术 Benford定律 自然场景统计 激光与光电子学进展
2022, 59(8): 0811001
南京理工大学 电子工程与光电技术学院，江苏 南京 210094
单光子激光雷达广泛应用于获得三维场景的深度和强度信息。对于多表面目标，如激光经过半透明表面上时，一个像素上探测到的回波信号可能包含多个峰。传统方法在低光子或相对较高的背景噪声水平下无法准确估计多深度图像。因此，提出了一种单光子激光雷达时间相关多深度估计方法。该方法利用信号响应的时间相关性，对点云数据进行多深度快速去噪，能够从背景噪声中识别每个像素上来自多个表面的信号响应。并基于该信号响应集合的泊松分布模型，通过全变分正则化引入像素之间的空间相关性，建立多深度估计成本函数。使用快速收敛的交替方向乘子算法从成本函数中估计深度图像。实验结果表明，所提方法在距离约为1 km处的多深度目标上，相较于常规方法估计深度图像的均方根误差减少了至少27.05%，信号重建误差比提高了至少18.39%，同时数据量减少至原来的4%。证明该方法能够以更小的内存需求和计算复杂度提高单光子激光雷达的多深度图像估计性能。
单光子激光雷达 多深度图像估计 时间相关性 交替方向乘子算法 single-photon lidar multi-depth image estimation temporal correlation ADMM 红外与激光工程
2022, 51(2): 20210885
1 西安工程大学电子信息学院，陕西 西安 710048
2 格罗宁根大学伯努利实验室，格罗宁根 9747 AG，荷兰
为了提高基于图像的物体识别准确率，提出一种改进双流卷积递归神经网络的RGB-D物体识别算法(Re-CRNN)。将RGB图像与深度光学信息结合，基于残差学习对双流卷积神经网络(CNN)进行改进：增加顶层特征融合单元，在RGB图像和深度图像中学习联合特征，将提取的RGB和深度图像的高层次特征进行跨通道信息融合，继而使用Softmax生成概率分布。最后，使用标准数据集进行实验，结果表明，Re-CRNN算法的RGB-D物体识别准确率为94.1%，较现有基于图像的物体识别方法有显著的提升。
RGB-D图像 结构光 物体识别 深度学习 深度图像 RGB-D image structured light object recognition deep learning depth image
由于受激光脉冲宽度的限制，传统激光雷达无法实现几十厘米的浅水层测量。设计了一个双Gm-APD光子计数偏振激光雷达系统，采用宽脉冲获取薄浅水层的高精度距离像。浅水层的表面光滑，能够保偏；底面粗糙，将发生退偏。根据该偏振现象，通过发射水平线偏振光，接收系统中采用一个偏振分光棱镜将前后表面信号光分离，然后分别被两个Gm-APD探测。该系统不受信号光的脉冲宽度限制，并充分利用Gm-APD的死时间机制，针对超薄浅水层实现三维深度测量。利用基于穆勒矩阵和斯托克斯参量表示的偏振传输原理，理论分析了双Gm-APD偏振激光雷达的分光原理。采用信号复原质心算法抑制距离漂移误差获取高精度距离信息。对于深度从4.5cm变化到8 cm渐变的薄浅水层，底面覆盖了黑、白沙子，探测距离为5 m，在实验上采用6 ns激光脉冲获取了薄浅水层的高精度距离像，测距精度为0.8 cm，有效验证了方案的可行性。该方案能够为机载海洋测绘激光雷达的浅水层测量提供一定借鉴。
激光雷达 光子计数 距离像 偏振 距离漂移误差 lidar photon counting depth image polarization range walk error 红外与激光工程
2021, 50(3): 20200452
天津大学电气自动化与信息工程学院, 天津 300072
为了解决变电站智能巡检机器人对环境的预判断缺乏有效评估的问题,以雾环境下的表计读数为研究对象,提出一种基于支持向量回归机(SVR)的表计读数环境预判断模型。该模型利用离散余弦变换(DCT)频域特征和基于局部二值模式旋转不变算子的空间结构特征来反映雾浓度,利用深度图像的统计特征来反映距离,利用SVR对所有图像特征进行训练拟合,从而综合考虑雾浓度与距离对表计读数造成的影响,提高判别准确率。在采集的图像数据库上对算法进行测试并与其他算法进行对比。实验结果表明,与未加入深度图特征相比,深度图特征的加入显著提升各算法的性能,有效反映占屏比对表计读数的影响;与其他相关算法相比,所提算法的性能最优,能够有效解决环境预判断的问题。
图像处理 智能巡检机器人 环境感知 频域特征 结构特征 深度图特征 激光与光电子学进展
2021, 58(12): 1210026
1 中国科学院沈阳自动化研究所机器人学国家重点实验室，辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
3 中国科学院大学，北京 100049
4 沈阳新松机器人自动化股份有限公司，辽宁 沈阳 110168
针对机器人自适应打磨曲面焊接区域的识别问题，提出了一种基于线结构光的打磨机器人自动识别起始点与终止点的算法和一种深度图像增强算子。增强算子将中心像素与8邻域内像素强度差的绝对值和作为中心像素值，以增强深度图像的可视化特征和打磨区域的纹理特征。首先，对点云数据进行滤波和空洞填充处理；然后，计算每一扫描行点云在高度方向的标准差；最后，对所得特征进行识别，找到一定范围内特征变化较大的位置，从而提取出打磨区域。实验结果表明，该增强算子对深度图像的增强效果极佳，本算法对起始与终止位置的识别精度均值小于1 mm，可达到像素级精度，具有较强的鲁棒性，且对噪声不敏感。在现场打磨测试中也证实了本算法的有效性和可行性。
测量与计量 点云 曲面焊缝 深度图像增强算子 表面特征 激光与光电子学进展
2021, 58(3): 0312005
兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
针对经典双边滤波算法对深度图像修复效果较差,且无法准确调整核函数参数等问题,提出了基于形态学和改进双边滤波的深度图像修复算法。首先,利用形态学算法对输入的深度图像进行空洞优化,以达到填充部分细小空洞和滤除随机噪声的目的;然后,运用改进的双边滤波算法,引入概率分布函数和最大似然函数计算每个空洞邻域内的核函数参数值,以自适应调整核函数参数,实现大面积空洞的修复;最后,采用中值滤波算法对图像进行平滑处理,滤除深度图像的“毛刺”,保留图像的边缘细节并保持清晰度。实验结果表明,所提算法能有效地填充深度图像中的空洞,并且不丢失原始深度图信息,达到了保边去噪的目的,具有较强的鲁棒性。
图像处理 深度图像 空洞修复 改进双边滤波 形态学 概率分布函数 激光与光电子学进展
2020, 57(16): 161020
