1 东南大学 自动化学院，江苏南京20096
2 东南大学 复杂工程系统测量与控制教育部重点实验室，江苏南京10096
3 南京航空航天大学 空间光电探测与感知工业和信息化部重点实验室， 江苏南京211106
为了在严重遮挡以及少纹理等具有挑战性的场景下，准确地估计物体在相机坐标系中的位置和姿态，同时进一步提高网络效率，简化网络结构，本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入，首先，利用双分支点云配准网络，分别得到模型空间和相机空间下的预测点云；接着，对于辅助学习网络，将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块，再进行由粗到细的位姿估计，并将估计结果作为先验用于优化损失计算。最后，在性能评估阶段，舍弃辅助学习分支，仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%；在LineMOD数据集上的平均ADD（-S）结果为99.4%；在LM-O数据集上的平均ADD（-S）结果为71.3%。与现有的其他六自由度位姿估计方法相比，采用辅助学习的方法在模型性能上具有优势，在位姿估计准确率上有较大提升。
六自由度位姿估计 辅助学习 深度图像 三维点云 6-DoF pose estimation auxiliary learning RGB-D image 3D point cloud
长春理工大学电子信息工程学院，吉林 长春 130012
针对彩色图像引导的深度图像超分辨率重建算法中存在的纹理转移和深度流失的问题，提出一种基于双特征融合引导的深度图像超分辨率重建网络（DF-Net）。为了充分利用深度和强度特征的关联性，在网络模型的深度恢复重建部分采用双通道融合模块（DCM）和双特征引导重建模块（DGM）。利用输入金字塔结构提取深度信息和强度信息的多尺度特征：DCM基于通道注意力机制对深度特征和强度特征进行通道间的特征融合与增强；DGM将深度、强度特征自适应选择融合后实现重建的双特征引导，增加了深度特征的引导作用，改善了纹理转移和深度流失的问题。实验结果表明，所提方法的峰值信噪比（PSNR）和均方根误差（RMSE）优于RMRF、JBU和Depth-Net等方法，尤其4×超分辨率重建结果的PSNR值比其他方法平均提升6.79 dB，RMSE平均下降0.94，取得了较好的深度图像超分辨率重建效果。
图像处理 图像超分辨率重建 卷积神经网络 深度图像 特征融合 通道注意力 激光与光电子学进展
2024, 61(8): 0837007
1 北京理工大学信息与电子学院，北京 100081
2 北京理工大学前沿交叉科学研究院，北京 100081
3 清华大学自动化系，北京 100084
计算成像将高维场景信息压缩编码为低维采集数据，并通过计算重建算法恢复高维场景信息。数据爆炸时代，对高时空分辨率的需求日益迫切，亟需同时满足高精度、低复杂度及适用不同系统的灵活性要求的大规模重建算法。现有大规模计算重建研究，包括交替投影、深度图像先验及即插即用方法，已取得阶段性进展。其中交替投影方法已应用于十亿像素定量相位成像，深度图像先验方法和即插即用方法结合了传统模型优化与深度学习技术的优点，具备大规模重建潜力。系统地梳理3类方法的架构及在大规模计算成像中的应用，展望大规模重建算法的未来发展趋势，以期为后续研究与应用提供有益的指导与借鉴。
计算成像 大规模重建 交替投影 深度图像先验 即插即用方法 激光与光电子学进展
2023, 60(2): 0200001
光学 精密工程
2022, 30(19): 2379
江西理工大学土木与测绘工程学院，江西 赣州 341000
针对深度图在边缘修复过程中受外部物体深度值的影响，造成深度值修复出现偏差的问题，提出了一种顾及边缘交融特征的自适应深度图空洞修复算法。首先，对深度图和RGB图的边缘进行提取、空洞伪边缘去除和边缘融合处理；然后，通过融合的边缘信息和有效像素占比设定滤波窗口大小，并根据滤波窗口与空间距离的关系设定空间距离权重参数，采用深度图与RGB图之间的结构相似性最大值作为颜色权重参数；最后，采用中值滤波去除边缘空洞像素和离散的噪声点。在Middle bury数据集和NYU Depth Dataset V2中对所提算法进行实验，并与其他算法进行对比分析。实验结果表明，所提算法能较好地修复边缘区域的空洞，保持较为清晰的物体边缘轮廓信息，具有较强的鲁棒性。
图像处理 深度图像 空洞修复 联合双边滤波 边缘提取 激光与光电子学进展
2022, 59(18): 1810016
南京理工大学 电子工程与光电技术学院，江苏 南京 210094
单光子激光雷达广泛应用于获得三维场景的深度和强度信息。对于多表面目标，如激光经过半透明表面上时，一个像素上探测到的回波信号可能包含多个峰。传统方法在低光子或相对较高的背景噪声水平下无法准确估计多深度图像。因此，提出了一种单光子激光雷达时间相关多深度估计方法。该方法利用信号响应的时间相关性，对点云数据进行多深度快速去噪，能够从背景噪声中识别每个像素上来自多个表面的信号响应。并基于该信号响应集合的泊松分布模型，通过全变分正则化引入像素之间的空间相关性，建立多深度估计成本函数。使用快速收敛的交替方向乘子算法从成本函数中估计深度图像。实验结果表明，所提方法在距离约为1 km处的多深度目标上，相较于常规方法估计深度图像的均方根误差减少了至少27.05%，信号重建误差比提高了至少18.39%，同时数据量减少至原来的4%。证明该方法能够以更小的内存需求和计算复杂度提高单光子激光雷达的多深度图像估计性能。
单光子激光雷达 多深度图像估计 时间相关性 交替方向乘子算法 single-photon lidar multi-depth image estimation temporal correlation ADMM 红外与激光工程
2022, 51(2): 20210885
1 重庆邮电大学 移通学院 大数据与软件学院, 重庆 合川 401520
2 重庆师范大学 涉外商贸学院 大数据与智能工程学院, 重庆 合川 401520
由于正电子发射型计算机断层显像(PET)噪声较大, 现有图像降噪效果不理想, 提出了一种结合残差U-Net神经网络和深度图像先验(DIP)的PET图像降噪。在U-Net网络中引入残差学习, 提高网络表达能力和收敛速度; 提出一种无训练数据的DIP算法, 将神经网络解释为图像的参数化, 利用图像噪声参数化后呈现高阻抗的特性将其去除, 达到降噪的目的; 在BrainWeb脑部图像数据集上进行实验, 并对实验结果进行了对比分析。分析结果表明, 所提方法能够得到边缘清晰且平滑的图像, 在不同噪声等级和时间帧中, 其去噪效果均优于其他对比方法, 可获得高质量的图像。
成像光学 正电子发射型计算机断层显像 残差学习 U-Net神经网络 深度图像先验 图像降噪 imaging optics positron emission computed tomography residual learning U-Net neural network DIP image denoising
1 西安工程大学电子信息学院，陕西 西安 710048
2 格罗宁根大学伯努利实验室，格罗宁根 9747 AG，荷兰
为了提高基于图像的物体识别准确率，提出一种改进双流卷积递归神经网络的RGB-D物体识别算法(Re-CRNN)。将RGB图像与深度光学信息结合，基于残差学习对双流卷积神经网络(CNN)进行改进：增加顶层特征融合单元，在RGB图像和深度图像中学习联合特征，将提取的RGB和深度图像的高层次特征进行跨通道信息融合，继而使用Softmax生成概率分布。最后，使用标准数据集进行实验，结果表明，Re-CRNN算法的RGB-D物体识别准确率为94.1%，较现有基于图像的物体识别方法有显著的提升。
RGB-D图像 结构光 物体识别 深度学习 深度图像 RGB-D image structured light object recognition deep learning depth image
1 中国科学院沈阳自动化研究所机器人学国家重点实验室，辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
3 中国科学院大学，北京 100049
4 沈阳新松机器人自动化股份有限公司，辽宁 沈阳 110168
针对机器人自适应打磨曲面焊接区域的识别问题，提出了一种基于线结构光的打磨机器人自动识别起始点与终止点的算法和一种深度图像增强算子。增强算子将中心像素与8邻域内像素强度差的绝对值和作为中心像素值，以增强深度图像的可视化特征和打磨区域的纹理特征。首先，对点云数据进行滤波和空洞填充处理；然后，计算每一扫描行点云在高度方向的标准差；最后，对所得特征进行识别，找到一定范围内特征变化较大的位置，从而提取出打磨区域。实验结果表明，该增强算子对深度图像的增强效果极佳，本算法对起始与终止位置的识别精度均值小于1 mm，可达到像素级精度，具有较强的鲁棒性，且对噪声不敏感。在现场打磨测试中也证实了本算法的有效性和可行性。
测量与计量 点云 曲面焊缝 深度图像增强算子 表面特征 激光与光电子学进展
2021, 58(3): 0312005
兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
针对经典双边滤波算法对深度图像修复效果较差,且无法准确调整核函数参数等问题,提出了基于形态学和改进双边滤波的深度图像修复算法。首先,利用形态学算法对输入的深度图像进行空洞优化,以达到填充部分细小空洞和滤除随机噪声的目的;然后,运用改进的双边滤波算法,引入概率分布函数和最大似然函数计算每个空洞邻域内的核函数参数值,以自适应调整核函数参数,实现大面积空洞的修复;最后,采用中值滤波算法对图像进行平滑处理,滤除深度图像的“毛刺”,保留图像的边缘细节并保持清晰度。实验结果表明,所提算法能有效地填充深度图像中的空洞,并且不丢失原始深度图信息,达到了保边去噪的目的,具有较强的鲁棒性。
图像处理 深度图像 空洞修复 改进双边滤波 形态学 概率分布函数 激光与光电子学进展
2020, 57(16): 161020
