光子学报
2023, 52(11): 1110003
1 北京机电工程总体设计部, 北京 100005
2 北京化工大学信息科学与技术学院, 北京 100029
针对如何充分提取和融合红外与可见光图像典型特征的问题, 提出一种基于空间多尺度残差网络的图像融合算法。首先, 将源图像输入基于空间多尺度残差模块组成的编码器网络, 通过源图像重建任务, 训练编码器自动获取重要特征信息的能力；然后, 引入特征金字塔结构, 设计了特征通道自注意力机制, 编码器输出的基础层和细节层进行融合, 减小尺度噪声, 并由解码器重构出融合图像；最后, 利用公开数据集进行定性和定量实验, 证明了改进算法在突出红外图像目标和保留可见光图像纹理细节两方面的优势, 相比于DDcGAN算法, 新算法的标准差和平均梯度分别提升了12.91%和47.41%。
图像融合 自动编码器 空间多尺度残差模块 通道自注意力 image fusion auto-encoder spatial multi-scale residual module channel self-attention 大气与环境光学学报
2023, 18(5): 469
1 华南理工大学 软件学院，广东广州50006
2 华南理工大学 自动化科学与工程学院，广东广州510641
3 中国科学院 力学研究所，北京100190
点云的无监督表征学习对于理解和分析点云至关重要，基于三维重建的自动编码器是无监督学习中的重要架构。针对现有的自编码器存在旋转干扰和特征学习能力不足的问题，本文提出一个旋转不变的2D视图-3D点云自编码器。首先，设计局部融合全局的旋转不变特征转换策略。对于局部表示，利用手工设计特征对输入点云进行转换，生成旋转不变的点云表征；对于全局表示，提出一个基于主成分分析（Principal Component Analysis， PCA）的对齐模块，将旋转点云对齐同一姿态下，在补充全局信息的同时排除旋转干扰。然后，在编码器设计局部和非局部特征提取模块，充分提取点云的局部空间特征和非局部上下文相关性，并建模不同层次特征之间的语义一致性。最后，提出一个基于PCA对齐的2D-3D 重构的解码方法，重建对齐后的三维点云和二维视图，使编码器输出的点云表征集成来自3D点云和2D视图的丰富学习信号。实验结果表明：本算法在随机旋转的合成数据集ModelNet40和真实数据集ScanObjectNN上的识别精度分别为90.84%和89.02%，学习的点云表征在没有任何标签监督的情况下实现了良好的可辨别性，并且具有较好的旋转鲁棒性。
三维点云 自编码器 表征学习 旋转不变性 three-dimensional point cloud auto-encoder representation learning rotational invariance
上海理工大学 光电信息与计算机工程学院, 上海 200093
遮挡图像重建是无监督异常检测的主要方法之一, 通过生成式模型对遮挡后的图像重建, 根据重建差异来估计图像区域的异常分数, 高异常分数区域即为缺陷区域。然而, 现有方法仅采用若干个尺度相互独立的遮挡策略, 使得模型缺乏对非规则遮挡图像的重建能力; 在重建过程中图像缺失部分与完整部分的全局依赖性未被充分考虑。针对上述问题, 提出多尺度网格的遮挡策略, 并采用自注意力机制增强自编码器重建过程中对全局依赖性的刻画。实验结果验证了所提方法的有效性, 与其他方法相比获得了更优的表面缺陷检测性能。
表面缺陷检测 异常检测 遮挡图像重建 自编码器 自注意力机制 surface defect detection anomaly detection masked image reconstruction auto-encoder self-attention mechanism
1 广西大学电气工程学院，广西 南宁 530004
2 中国科学院合肥智能机械研究所，安徽 合肥 230031
图像修复技术是目前计算机视觉领域的研究热点之一，该技术主要利用缺失区域周边或者外部辅助数据来对图片受损区域进行信息推理和修复。随着大数据时代的到来，基于深度学习的图像修复技术以其出色的性能成为了图像处理领域内的关注点。对现有的图像修复算法进行总结，对各个算法的模型结构、性能表现及在常用数据集上的指标进行讨论说明，并对该领域目前所存在的问题和难点进行分析和展望。
图像修复 深度学习 卷积神经网络 自编码网络 对抗生成网络 激光与光电子学进展
2023, 60(2): 0200002
光子学报
2022, 51(12): 1217001
山西工程科技职业大学 现代物流学院, 山西 晋中 030600
机载红外探测系统在近地背景下检测目标时, 地面将对弱小目标产生严重的干扰, 导致传统检测方法对弱小目标的检测性能下降。针对该问题, 利用生成对抗网络提出一种近地背景下的机载红外探测系统弱小目标检测方法。将深度自编码器作为生成对抗网络的网络框架, 引入inception机制对视觉信息进行多尺度特征提取, 并引入残差块来缓解梯度消失问题。在神经网络的对抗训练中, 生成器考虑了移动损失与对抗损失两个损失函数, 提高了生成器的训练效果。最终, 在公开的无人机机载红外探测数据集上完成了实验, 结果表明所提方法能在近地背景下成功检测出红外弱小目标, 且检测的平均精度与速率均优于其它对比方法。
机载红外探测系统 户外探测 弱小目标检测 深度自编码器 生成对抗网络 airborne infrared detection system outdoors detection weak and small target detection deep auto-encoder generative adversarial network
1 中国农业大学烟台研究院, 山东 烟台 264670
2 中国农业大学现代精细农业系统集成研究教育部重点实验室, 北京 100083
基于光谱的土壤氮含量预测模型泛化能力弱是制约其推广应用的瓶颈。 鉴于特征提取及非线性表达能力方面的优势, 深度学习模型具有较强的泛化能力。 提出一种融合自动编码器和卷积神经网络(Encoder-CNN)的土壤氮含量光谱预测模型, 探索模型结构和参数对模型性能的影响。 根据以往研究成果和相关性分析, 获得180个与氮含量强相关的波长, 将其作为Encoder-CNN模型输入, 而将土壤氮含量作为模型输出。 Encoder-CNN模型利用自动编码器的编码部分进行光谱数据降维, 然后输入到卷积神经网络进行土壤氮含量预测。 设计2种网络结构, 每种网络结构包含2种不同参数设置, 共4个模型, 用以探索Encoder-CNN土壤氮含量光谱预测模型结构和参数对模型性能的影响。 利用公开数据集LUCAS对模型进行训练。 按3σ原则对公开数据集LUCAS进行异常值检测与处理, 获得20 791个数据, 其中18 711个样本作为训练集, 2 080个样本作为测试集, 对Encoder-CNN模型进行训练。 结果表明: 对于自动编码器, 在相同隐含层数下, 最后的隐含层神经元个数为30时, 复现效果最优。 增加隐含层数, 会提升复现效果。 增加卷积核数量, 特别是尺寸为1×1卷积核, 能够提高模型的预测性能与可靠性。 增加池化层的网络结构, 模型预测精度提升至0.90以上。 增加全连接层神经元数量也会提升模型性能。 利用自采集的黑龙江黑土实时光谱数据集进行模型迁移, 观察模型泛化能力。 当模型迭代100次后, 在黑龙江数据集上的预测精度即可达到0.90以上; 当迭代次数为900时, 模型在训练集和测试集上的预测精度可以达到0.98。 结果表明, 所构建的Encoder-CNN土壤氮含量光谱预测模型具有较好的泛化能力。
土壤 氮含量 光谱预测 卷积神经网络 自动编码器 Soil Nitrogen content Spectral prediction Convolutional neural network Auto-encoder 光谱学与光谱分析
2022, 42(5): 1372
1 空军工程大学航空工程学院, 西安 710000
2 西北工业大学电子信息学院, 西安 710000
3 中国人民解放军93046部队, 沈阳 110000
合成孔径雷达(SAR)图像自动目标识别(ATR)技术是人工图像解译的关键技术之一, 其旨在屏蔽固有噪声影响, 获取感兴趣区域内表征目标的潜在特征信息, 为目标识别提供有力的数据支撑。为了提升高分辨SAR图像目标识别精度, 围绕算法设计中的相干斑抑制和特征提取问题, 结合传统恒虚警率(CFAR)检测算法和深度卷积神经网络(DCNN)的最新研究, 设计了SAR图像自动目标识别框架。实验基于MSTAR标准数据集, 目标识别结果表明所构建模型的有效性。
SAR图像目标识别 相干斑抑制 特征学习 卷积自编码网络 卷积神经网络 target recognition of SAR image speckle suppression feature learning convolution auto-encoder network convolutional neural network
1 中国电子科技集团公司光电研究院，天津
2 陆军航空兵学院某研究所，北京 通州
为研究一种新型图像去噪的手段，采用机器学习中的自编码器模型对图像进行优化。通过对原始的清晰图像添加噪声，作为编码器模型的输入数据，未添加噪声的原始图像作为标准值，对编码器模型进行训练以提高其图像去噪能力。结果表明，经过一定程度训练的自编码器模型，具备了一定的图像去噪功能。
机器学习 自编码器 图像去噪 machine learning auto-encoder image denoising
