针对低分辨率源图像的融合结果质量低下不利于后续目标提取的问题,提出一种基于梯度惩罚Wasserstein生成对抗网络(WGAN-GP)的多波段图像同步超分与融合方法。首先,基于双三次插值法将多波段低分辨率源图像分别放大至目标尺寸;其次,将该放大结果输入特征提取(编码)网络分别提取特征并在高层特征空间进行组合;然后,通过解码网络重构出初步融合图像;最后,经过生成器和判别器的动态博弈得到高分辨率的融合图像。实验结果表明,所提方法不仅可以同步实现多波段图像的超分和融合,而且融合图像的信息量、清晰度和视觉质量明显高于其他代表性方法。
图像处理 图像融合 图像超分辨率 多波段图像 生成对抗网络 光学学报
2020, 40(20): 2010001
为了选取基于拉普拉斯金字塔变换融合方法效果较好的融合规则来提高多波段图像融合质量, 现结合 12种融合规则对可见光、红外短波和红外长波图像进行融合, 通过主观人眼视觉观察与客观评价中的信息量、统计特性和人眼视觉特性的评价指标对融合效果进行分析比较, 找到融合效果较好的融合规则。实验结果表明, 低频使用等值加权平均时, 融合效果较差, 对比度低。高频使用绝对值取大、低频使用区域匹配时, 融合结果清晰, 评价指标最高, 便于人眼观察。高频使用区域能量取大、低频使用区域匹配度取大时, 融合结果可以充分显示边缘和纹理信息。高频使用一致性检测和区域方差时融合效果一般。
图像融合 多波段图像 融合规则 拉普拉斯金字塔 image fusion multiband image fusion rule Laplacian pyramid
1 广东白云学院电气与信息工程学院, 广州 广东 510450
2 中北大学大数据学院, 山西 太原 030051
为了在多波段图像融合中选用合适的直觉模糊化方法来处理不确定性问题, 对 5种常用的直觉模糊集方法在多波段图像融合中的应用进行了比较。首先将多波段图像进行直觉模糊化处理, 对隶属度图像进行去模糊化得到直觉模糊图像; 然后, 将直觉模糊图像进行非下采样轮廓波变换(Nonsubsampled contourlet transform, NSCT), 对低频图像进行直觉模糊化处理, 所得隶属度作为权重进行加权融合, 高频使用取大规则进行融合; 最后通过逆变换得到融合图像。对融合结果采用主观人眼视觉观察和客观评价指标体系进行分析比较, 得到较好的直觉模糊集方法的优势性能。实验结果表明, 与 Sugeno、Yogita、Yager及 Chaira四种直觉模糊化方法相比, Bala直觉模糊化方法可以有效提高融合结果的亮度和对比度, 而且融合结果边缘清晰, 纹理特征明显, 具有更好的视觉融合效果和客观质量评价。
图像融合 直觉模糊集 多波段图像 方法比较 非下采样轮廓波变换 image fusion intuitionistic fuzzy set multi-band image methods to compare the nonsubsampled contourlet transform
为解决微光探测条件下多波段图像融合效果差、信息丢失的问题, 提出了基于直觉模糊集的多波段图像融合方法。首先利用最大化熵准则对源图像分别进行直觉模糊处理, 其次对隶属度图像进行去模糊后进行非下采样剪切波变换(NSST), 得到各自的高频图像和低频图像, 然后对高频图像用绝对值取大融合, 对低频图像用清晰度取大融合, 最后对高频融合图像和低频融合图像进行 NSST逆变换得到最终融合图像。实验结果表明, 本方法可对微光探测条件下多波段图像自适应处理, 融合结果目标显著, 对比度和清晰度大, 主观和客观评价指标均优于其他方法。
图像融合 直觉模糊集 多波段图像 微光图像处理 image fusion intuitionistic fuzzy set multiband image low-light-level image processing
1 海军航空工程学院控制工程系, 山东 烟台 264001
2 中国国防科技信息中心, 北京 100142
针对海面背景舰船目标单一波段图像识别率低的问题,提出了一种基于卷积神经网络(CNN)的融合识别方法。该方法提取可见光、中波红外和长波红外3个波段舰船目标特征进行融合识别。模型主要分为3个步骤:通过设计的6层CNN,同时对三波段图像进行特征提取;利用基于互信息的特征选择方法对串联的三波段特征向量按照重要性进行排序,并按照图像清晰度评价指标选取固定长度的特征向量作为目标识别依据;通过额外的2个全连接层和输出层进行回归训练。采用自建的三波段舰船图像数据库进行模型的训练和测试,共包含6类目标,5000余张图像。实验结果表明,本文方法识别率达到84.5%,与单波段识别方法相比有明显提升。
机器视觉 目标识别 特征融合 卷积神经网络 多波段图像 特征选择 图像清晰度 光学学报
2017, 37(10): 1015002
1 海军航空工程学院 控制工程系，山东 烟台 264001
2 中国国防科技信息中心，北京 100142
3 91206部队，山东 青岛 266108
考虑多波段图像的融合识别可以扩展识别系统的应用范围，本文探索并设计了一种基于卷积神经网络的融合识别方法。该方法以AlexNet网络模型为基础，同时对可见光、中波红外和长波红外三波段图像进行特征提取; 然后，利用互信息的方法对串联的三波段特征向量进行特征选择，依据重要性排序的方式选定固定长度的特征向量; 最后，依据特征提取层级的不同，分别以早期融合、中期融合和后期融合3种融合方式来验证算法的有效性。采用自建的三波段舰船图像数据库进行了模型的训练和测试，共包含6类目标，5 000余张图像。实验结果显示，采用的3种融合识别方法中，中间层融合的识别准确率最高，达到84.5%，比早期融合和后期融合分别高5%和7%左右。另外，在本文的应用场景下，无论何种融合方式，其融合识别的准确率均明显高于其他单波段识别的准确率。
目标识别 舰船识别 特征融合 卷积神经网络 多波段图像 特征选择 target recognition feature fusion CNN multi-spectral images feature selection image quality assessmen 光学 精密工程
2017, 25(11): 2939
1 中国科学技术大学 环境科学与光电技术学院, 合肥230022
2 中国科学院安徽光学精密机械研究所 大气成分与光学重点实验室, 合肥 230031
3 光电对抗测试评估技术重点实验室, 河南 洛阳471003
提出了一种基于单帧多波段图像测量非气体吸收波段和弱气体吸收波段大气透过率的方法, 可应用于相关光电工程中评估和修正大气衰减影响.首先, 利用经过绝对辐射定标的图像采集设备获得辐射图像; 其次, 基于大气中图像退化光学模型与暗通道先验统计理论得到辐射图像暗通道对应的宽波段平均大气透过率; 最后, 结合特定波段消光系数和宽波段平均消光系数间的关系得到特定波段的大气透过率.实验对比分析表明: 本文方法与能见度仪、激光雷达测量结果相关性较高, 其中与能见度仪相比, 相关系数在0.89和0.95之间, 与激光雷达相比, 相关系数在0.95和0.97之间; 在1 km近距离条件下与能见度仪、激光雷达测量结果平均相对偏差最高分别为9%和6%, 在远距离条件下, 与能见度仪测量结果相比, 4 km和6 km平均相对偏差最高分别为15%和30%, 与激光雷达测量结果相比, 4 km和6 km平均相对偏差最高分别为9%和18%.
大气光学 大气透过率 大气辐射 多波段图像 暗通道 Atmospheric optics Atmospheric transmittance Atmospheric radiation Multi-spectral image Dark channel
