1 沈阳建筑大学 机械工程学院，辽宁 沈阳 110168
2 中国科学院沈阳自动化研究所 光电信息处理重点实验室，辽宁 沈阳 110169
红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息，在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理，如何融合各自图像的优点并保证图像不失真是融合技术的关键，传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题，提出了一种改进的生成对抗网络，生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息；在判别器中引入谱归一化模块，解决传统生成对抗网络不易训练的问题，加速网络收敛；引入了感知损失，保持融合图像与源图像的结构相似性，进一步提升了融合精度。实验结果表明，提出的方法在主观评价与客观指标上均优于其他代表性方法，对比基于全变分模型方法，平均梯度和空间频率分别提升了55.84%和49.95%。
图像融合 生成对抗网络 语义信息 谱归一化 image fusion generative adversarial network semantic information spectral normalization 红外与激光工程
2022, 51(4): 20210291
1 沈阳工业大学电气工程学院, 辽宁 沈阳 110870
2 中国科学院沈阳自动化研究所光电信息处理重点实验室, 辽宁 沈阳 110016
3 沈阳工程学院信息学院, 辽宁 沈阳 110136
高光谱图像包含着丰富的光谱信息,单幅RGB重建高光谱图像在**目标识别和医学诊断领域具有重要价值。传统算法无法对未知相机光谱响应的RGB图像进行重建,针对此问题,本文提出了一种基于改进残差密集网络的重建算法。首先,将改进的残差密集块作为残差密集网络的基本模块,使用自适应权重模块对特征通道进行特征重标定,使高光谱重建精度得到了提高。其次,用特征变换层替代原来网络的空间变换层,将解决图像超分辨率问题转换成解决高光谱重建问题,实现网络从空间维度到光谱维度的转变。实验结果表明:本文所提算法无论是在主观效果上还是在客观评估指标上均优于主流的传统方法和深度学习方法,与稀疏字典方法相比,本文算法的平均相对绝对误差(MRAE)和均方根误差(RMSE)分别下降了46.7%和44.8%。
光谱学 高光谱成像 残差密集网络 通道自适应 特征重标定 RGB图像
刘鹏飞 1,2,3,4,5赵怀慈 1,2,4,5,*李培玄 1,2,3,4,5
1 中国科学院沈阳自动化研究所，辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
3 中国科学院大学，北京 100049
4 中国科学院光电信息处理重点实验室，辽宁 沈阳 110016
5 辽宁省图像理解与视觉计算重点实验室，辽宁 沈阳 110016
高光谱成像能够提供比普通RGB图像更全的光谱信息，在监测自然环境变化、农业植被土壤分类等具有广泛的应用。从单幅RGB图像重建高光谱信息是严重欠约束问题，传统重建算法需要增加光学组件或已知相机光谱响应，在实际应用中往往不能满足要求。针对此问题，提出一种端到端对抗生成网络，设计一种改进残差结构作为对抗网络的基本模块，使用多尺度特征金字塔融合局部和全局特征并捕获像素空间上下文信息；提出了新的WNet网络，利用局部边缘图像引导模型学习到高频信号，进一步提升了高光谱重建精度。实验结果表明：无论是高光谱图像数据合成的RGB图像以及普通相机拍摄的真实RGB图像，所提方法的高光谱重建效果在定量和定性评价指标上均优于已有的代表性方法，对比稀疏字典算法，均方误差和相对均方误差分别降低了45%和50%。
高光谱成像 特征金字塔 生成对抗网络 注意力机制 hyperspectral imaging feature pyramid generative adversarial network attention mechanism 红外与激光工程
2020, 49(S1): 20200093
1 中国科学院沈阳自动化研究所, 辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院, 辽宁 沈阳 110169
3 中国科学院大学, 北京 100049
4 中国科学院光电信息处理重点实验室 , 辽宁 沈阳 110016
图像盲复原是从一幅观测的模糊图像恢复出模糊核和清晰图像, 传统盲去卷积算法采用简化模型估计模糊核, 导致预测模糊核与真实值误差较大, 最终复原结果不理想。针对此问题提出一种基于改进残差模块的多尺度卷积神经网络模型, 采用端到端模式, 无需估计模糊核。提出了一种基于限制网络输入的改进Wasserstein GAN (WGAN), 增加了一层输入限制层, 能够限定参数初始值, 提高了网络收敛速度。设计了多重损失函数, 融合了基于多尺度网络的感知损失和基于条件式生成对抗网络的对抗损失。实验结果表明: 所提方法在定量和定性评价指标上优于已有的代表性方法, 并且运行速度比相近算法快了4倍。
多尺度卷积神经网络 多重损失函数 生成式对抗网络 噪声模糊图像 multi-scale convolution neural network multiple loss function generative adversarial networks noisy and blurry image 红外与激光工程
2019, 48(4): 0426001
李培玄 1,2,3,4,*刘鹏飞 1,2,3,4曹飞道 1,2,3,4赵怀慈 1,3,4,*
1 中国科学院沈阳自动化研究所, 辽宁 沈阳 110016
2 中国科学院大学, 北京 100049
3 中国科学院光电信息处理重点实验室, 辽宁 沈阳 110016
4 辽宁省图像理解与视觉计算重点实验室, 辽宁 沈阳 110016
现有的多尺度立体匹配算法对各尺度的代价函数采用相同权值,而忽略了各尺度层对整个匹配代价的不同影响,增加了误匹配点。针对此问题,提出了自适应权值的跨尺度立体匹配算法框架。采用统一的代价聚合函数框架在不同尺度上进行代价匹配,并提出利用各像素窗口的信息熵作为不同尺度下匹配代价对整个匹配代价的影响因子;同时为了保证不同尺度下同一像素的代价一致性,在代价函数里加入正则化因子。本文算法框架可以应用在利用多尺度进行代价匹配的算法上,并使原有算法的准确率和稳健性得到提高。基于本文算法框架,分别采用不同代价聚合函数在Middlebury数据集上进行测试。为保证测试的公平性,各算法均未进行后续的视差求精步骤,实验表明,本文算法有效地提高了多尺度立体匹配的准确率和稳健性。
机器视觉 立体匹配 跨尺度代价聚合 图像信息熵 自适应权值 光学学报
2018, 38(12): 1215006
1 中国科学院 沈阳自动化研究所, 辽宁 沈阳 110016
2 中国科学院大学, 北京 100049
3 中国科学院 光电信息处理重点实验室, 辽宁 沈阳 110016
针对基于特征匹配的单应矩阵估计方法的特征定位噪声的各向异性非同分布对其精度和鲁棒性的影响, 提出了一种结合特征定位噪声表征的单应矩阵估计方法。该方法采用协方差矩阵来表征特征点定位噪声; 基于协方差矩阵加权采样一致性(CWSAC)的内点检验方法来提高单应矩阵估计的鲁棒性。最后, 提出一种单应矩阵高精度估计算法——协方差加权Levenberg-Marquardt(CW L-M)法。该方法结合协方差矩阵重新定义优化目标函数, 提高了单应矩阵的估计精度。基于仿真数据和真实图像的实验表明, 在相同定位噪声和内点比例条件下, 本文算法的估计精度显著优于RANSAC(RANdom SAmple Consensus)、LMedS(Least Median of Squares),PROSAC(PROgressive SAmple Consensus)、M-SAC(M-estimator SAmple Consensus)和MLESAC(Maximum Likelihood SAmple Consensus)等传统算法, 投影均方误差比次优方法降低了3%~21%。另外, 本文方法对定位噪声和内点比例变化均具有较好的鲁棒性。
单应矩阵估计 特征定位噪声 协方差加权 随机采样一致(RANSAC) homography estimation feature localization noise covariance weighting RANdom SAmple Consensus( RANSAC) Levenberg-Marquardt Levenberg-Marquardt
1 中国科学院 沈阳自动化研究所, 辽宁 沈阳 110016
2 中国科学院 光电信息处理重点实验室, 辽宁 沈阳 110016
3 中国科学院大学, 北京 100049
针对基于灰度的局部特征匹配方法对图像对比度变化敏感, 导致在多模态图像配准应用中性能大幅下降的问题, 提出了一种多模态鲁棒的局部特征描述符和匹配方法。首先, 基于对比度变化不敏感的相位一致性和局部方向信息, 提出一种多模态鲁棒的角点和线段特征提取方法, 在对比度差异显著的多模态图像之间提取较多的共性角点和线段特征; 然后, 以角点为中心选择48个均匀分布的圆形特征子区域, 利用角点与特征子区域内线段的距离和线段长度信息, 构建96维的特征向量; 最后, 将归一化相关函数作为匹配测度函数进行特征匹配, 并采用基于位置约束的随机抽样一致(RANSAC)方法进行匹配提纯。实验表明, 本文提出的多模态匹配方法匹配正确率和重复率分别高达80%和13%, 分别为对称-尺度不变特征变换算法(S-SIFT)、多模态-快速鲁棒特征算法(MM-SURF)等基于灰度方法的2~4倍和4~7倍, 显著优于同类方法。
图像配准 多模态配准 多模态鲁棒特征 相位一致性 局部方向 归一化相关 image registration multimodality registration multimodality robust feature phase congruency local direction normalized correlation
杜梅 1,2,3,4,*赵怀慈 1,2,3,4郝明国 1,2,3,4王帅 1,2,3,4
1 中国科学院沈阳自动化研究所光电信息研究室，沈阳 110016
2 中国科学院研究生院，北京 100049
3 中国科学院光电信息处理重点实验室，沈阳 110016
4 辽宁省图像理解与视觉计算重点实验室，沈阳 110016
为解决如何在图像低比特率压缩的同时将边缘等特征保留下来这一问题，本文提出一种面向边缘特征保持的图像压缩方法，即在基于小波的 Contourlet变换压缩基础上提取边缘并对边缘编码，再使用边缘保持重建规则进行低比特率图像压缩重建。仿真结果表明，本文方法与仅基于小波的 Contourlet变换图像压缩方法相比，边缘保持更完整，图像对比度更高。面向边缘特征保持的图像压缩方法有利于低比特率条件下重建图像保持完整的边缘特征，从而可以提高用户对重建图像的识别和理解程度。
边缘保持 链码 图像压缩 edge preservation WBCT WBCT chain code image compression
