长春理工大学电子信息工程学院，吉林 长春 130012
针对彩色图像引导的深度图像超分辨率重建算法中存在的纹理转移和深度流失的问题，提出一种基于双特征融合引导的深度图像超分辨率重建网络（DF-Net）。为了充分利用深度和强度特征的关联性，在网络模型的深度恢复重建部分采用双通道融合模块（DCM）和双特征引导重建模块（DGM）。利用输入金字塔结构提取深度信息和强度信息的多尺度特征：DCM基于通道注意力机制对深度特征和强度特征进行通道间的特征融合与增强；DGM将深度、强度特征自适应选择融合后实现重建的双特征引导，增加了深度特征的引导作用，改善了纹理转移和深度流失的问题。实验结果表明，所提方法的峰值信噪比（PSNR）和均方根误差（RMSE）优于RMRF、JBU和Depth-Net等方法，尤其4×超分辨率重建结果的PSNR值比其他方法平均提升6.79 dB，RMSE平均下降0.94，取得了较好的深度图像超分辨率重建效果。
图像处理 图像超分辨率重建 卷积神经网络 深度图像 特征融合 通道注意力 激光与光电子学进展
2024, 61(8): 0837007
上海工程技术大学电子电气工程学院，上海 201620
卷积神经网络已在图像超分辨率领域得到广泛应用，Transformer近年来在该类图像处理任务中的扩展更是具有里程碑的意义，然而这些大型网络具有过多的参数量和计算量，其在部署和应用上存在很大局限性。考虑到上述发展现状，提出一种基于交错组卷积与稀疏全局注意力的轻量级图像超分辨率重建网络，该网络引入了以交错组卷积为主的特征提取模块，对Transformer的多头自注意力机制进行优化，设计了一种稀疏全局注意力机制以增强特征学习能力，并提出了一种多尺度特征重构模块来提高重建效果。实验结果表明：相比其他几种基于深度神经网络的方法，所提方法的PSNR、SSIM、参数量、计算量等性能指标都表现较好。而与基于Transfomer的方法相比，所提方法在PSNR、SSIM指标上平均提高0.03、0.0002，在参数量、计算量、运行时间上平均降低2.66×106、130×109、930 ms。
图像超分辨率 交错组卷积 注意力机制 轻量化网络 Transformer 多尺度特征重建 激光与光电子学进展
2024, 61(4): 0411003
1 福州大学 先进制造学院，福建 泉州 362000
2 中国科学院 福建物质结构研究所，福建 福州 350108
3 中国科学院 海西研究院 泉州装备制造研究中心，福建 泉州 362000
针对现有图像超分辨率重建算法的重建图像仍存在高频信息缺失、噪点增多问题，本文提出了一种基于卷积稀疏编码与生成对抗网络的图像超分辨率重建模型。首先，利用卷积网络实现稀疏编码并获取图像稀疏表示，充分利用图像的先验信息，有效避免重建图像高频信息缺失和噪点增多的问题；在得到低分辨率图像的稀疏表示后，通过重建模块对稀疏表示进行重建得到超分辨率图像；随后，鉴别器对重建图像进行鉴别，缓解由PSNR主导的算法导致重建图像趋于平滑的问题。在不断对抗训练后，最后的重建图像具有更好的视觉效果。本文在Set5、Set14、BSD100和Urban100通用测试数据集上进行2倍和4倍的超分辨率重建实验，并与Bicubic、SRGAN、EDSR和ESRGAN对比。与ESRGAN方法相比，本文模型在4个数据集上平均PSNR提升约0.702 8 dB，平均SSIM提升约0.047，平均LPIPS提升了0.016。实验结果表明，所提出的模型具有较强的竞争力，能够恢复更多的细纹理细节且具有更好的清晰度。
图像处理 图像超分辨率 稀疏表示 生成对抗网络 image processing image super resolution sparse representation generative adversarial network 马一哲 1,2,3王世勇 1,2,3雷腾 1,2,3李博翰 1,2,3李范鸣 1,2,3,*
1 中国科学院上海技术物理研究所，上海 200083
2 中国科学院大学，北京 100049
3 中国科学院红外探测与成像技术实验室，上海 20008
分焦平面偏振探测系统受其探测器结构的影响，成像分辨率低于探测器实际分辨率，本文在不改变光学系统结构下使用微扫描获取亚像元微位移帧序列，提出一种改进的凸集投影(Projection On Convex Sets, POCS)算法用于提升偏振成像系统的成像分辨率。该算法首先对获取到的偏振微扫描图像序列进行检偏角分离，将同组检偏角图像序列作为输入，其次进行位移匹配与凸集投影迭代初步重建高分辨率图像，然后将图像分组进行滑动窗口非邻域聚类，利用主成分分析将聚类后的图像进行降维，最后将每一维信息视为时间采样函数，在小波域进行软阈值降噪。实验表明，本算法可以有效的提高传统POCS算法的抗噪性能，提高分焦平面偏振探测系统的成像分辨率，和同类算法相比结构相似性系数提升0.02，峰值信噪比提升约1 dB，并且拥有更高的噪声鲁棒性。
偏振 图像超分辨率重建 凸集投影 微扫描 polarization super-resolution image reconstruction POCS micro-scanning 光学 精密工程
2023, 31(16): 2418
1 合肥工业大学 仪器科学与光电工程学院，安徽合肥230009
2 测量理论与精密仪器安徽省重点实验室，安徽合肥30009
3 教育部安全关键工业测控技术工程研究中心，安徽合肥20009
微器件广泛应用于电子工业。由于衍射效应，微器件的物理边缘与光学边缘不一致，这给检测和测量带来了挑战。为提高微目标检测与测量精度，本文将图像超分辨率重建与目标测量结合，提出了一种基于边缘增强的图像超分辨率重建算法并搭建了对应的测量系统。首先提出了一种新的图像超分辨率重建质量评价参数，证明了图像超分辨率重建提高目标测量精度的可行性。针对目标边缘，将通道注意力机制引入网络，增强了网络对图像边缘的重建能力。最后，设计并搭建了目标测量系统，并进行了实验。结果表明：在公开数据集上，本文算法能取得更高的峰值信噪比（PSNR）和结构相似性（SSIM）等客观指标值；在实际测量中，本文算法可将原有测量系统极限分辨率提高25.9%，目标测量精度平均提高51.6%。本文研究为工业生产中的微目标检测和测量提供了一个潜在的发展方向。
深度学习 图像超分辨率 计算机视觉 边缘检测 亚像素 deep learning image super-resolution computer vision edge detection subpixel
1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
3 中国科学院红外探测与成像技术重点实验室, 上海 200083
红外与可见光图像融合一直是图像领域研究的热点, 融合技术能弥补单一传感器的不足, 为图像理解与分析提供良好的成像基础。 因生产工艺以及成本的限制, 红外探测器的分辨率远低于可见光探测器, 并在一定程度上因源图像分辨率的差异阻碍了实际应用。 针对红外与可见光图像分辨率不一致的问题, 提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架, 应用于多分辨率图像融合。 在网络结构方面, 首先设计了双通道网络分别提取红外与可见光特征, 使算法不受源图像分辨率的限制; 其次提出了特征上采样模块, 先用双线性插值方法增加像素个数, 再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系, 无需重新训练模型即可实现任意尺度的红外图像上采样; 接着将线性注意力引入网络, 学习特征空间位置间的非线性关系, 抑制无关信息并增强网络对全局信息的表达。 在损失函数方面, 提出了梯度损失, 保留红外与可见光图像中绝对值较大的滤波器响应值, 并计算该值与重建的融合图像响应值的Frobenius范数, 无需理想的融合图像作为真值监督网络学习就能生成融合图像; 此外, 在梯度损失、 像素损失的共同作用下对多任务模型进行优化, 可以同时重建融合图像和高分辨率红外图像。 算法在RoadScene数据集上进行训练, 与其他4种相关算法在TNO数据集上进行对比, 主观性能上该方法可以输入任意分辨率的源图像, 融合图像红外目标突出、 可见光细节纹理丰富, 在源图像分辨率相差较大时能重建特征清晰的高分辨率红外图像, 模型泛化性能强; 客观性能上在信息熵、 差异相关性总量、 空间频率等多个评价指标上表现优异, 结果表明重建的融合图像信息丰富、 信息转化率高、 清晰度高, 验证了算法的有效性。
红外与可见光融合 多分辨率图像融合 线性注意力 梯度损失 红外图像超分辨率 Infrared and visible image fusion Multi-resolution image fusion Linear attention Gradient loss Infrared image super-resolution
1 陕西科技大学 电子信息与人工智能学院，陕西 西安 710021
2 中国科学院 国家天文台，北京 100101
3 西安石油大学 理学院，陕西 西安 710065
随着生成对抗网络在图像超分辨（SR）领域的应用，一些感知驱动的SR方法可以恢复出纹理细节更加丰富的SR图像，有效地缓解了由PSNR主导的SR方法导致重建图像趋于平滑的问题。然而梯度信息作为图像纹理的一种重要表现形式，鲜有SR方法能准确、高效地利用。为此，提出一种基于梯度感知的图像超分辨（GASR）算法，可以更准确地利用梯度信息。一方面，使用梯度域的特征图作为作用在图像域特征图上的卷积核，有效地避免了不同域特征图串联所带来的域冲突问题；另一方面，通过对卷积核尺寸等设计细节的调整使两个分支对应位置所输出的图像域与梯度域特征图的感受野一致。此外，由于实际应用对网络轻量化需求的提高，提出的GASR算法还有效降低了参数量和计算量。与同样利用梯度信息的SPSR相比，GASR最终以约1/6的参数量与1/10的计算量取得了与其相近的性能。在Set14数据集上，LPIPS与PSNR分别提升了0.002 2与0.217。实验结果验证了GASR可以在纹理生成与图像平滑度之间取得一个很好的平衡，视觉化效果也验证了GASR不仅可以准确地恢复SR图像，而且在一定程度上缓解了杂乱纹理的生成。
图像超分辨率 梯度 深度学习 生成对抗网络 image super-resolution gradient deep learning generative adversarial network
江西理工大学信息工程学院，江西 赣州 341000
单幅图像超分辨率重建在众多领域应用广泛，然而现有算法大多通过扩展卷积神经网络深度和宽度来提取更多特征细节，导致算法计算复杂度的提高和模型参数量的增大。为解决上述问题，提出一种自适应残差注意力的轻量级超分辨率网络算法。首先通过改进坐标注意力网络，生成了关注高频位置信息的注意力特征图；接着将改进的自适应残差注意力信息提取模块和坐标注意力模块双支路并行连接，使输出的特征信息包含更多图像细节；同时采用多尺度上采样方法，使训练得到的网络模型（单次训练）一次输出多个不同尺度的超分辨率图片。通过和经典的轻量级超分辨率算法比较，所提算法得到的4倍重建图片在4个公共数据集上的平均峰值信噪比（PSNR）提高了1.06 dB，模型参数量减少了59%，图像观感更为清晰，包含更多高频细节。
图像超分辨率 轻量级 注意力机制 卷积神经网络 残差学习 激光与光电子学进展
2022, 59(16): 1610007
1 西安工程大学电子信息学院，陕西 西安 710048
2 广西科技师范学院职业技术教育学院，广西 来宾 546199
实例学习是一种有效的单帧图像超分辨率重建技术，关键在于如何建立低分辨率与高分辨率图像之间的映射关系。许多研究表明，当面对复杂多样的自然图像时，类型单一的回归模型难以重建出理想的高分辨率图像。为此，以A+算法为基础，提出一种基于Boosting集成学习的超分辨率算法，通过不断增强回归模型的互补性，超分辨率重建模型能较好地适用于不同内容的图像。该算法首先利用Boosting思想训练多组具有互补性的子回归器；然后对各组子回归器进行组合，生成泛化能力更强、重建性能更好的集成模型；最后利用级联残差回归策略，采用由粗到精的方式逐渐合成高分辨率图像，以进一步提高超分辨率重建图像的质量。在5个标准数据集上对所提方法和4种基于实例学习的主流超分辨率方法进行了比较，结果表明，所提超分辨率重建方法能够重建出图像边缘更加清晰和纹理细节更加丰富的高质量图像。
图像处理 图像超分辨率重建 A+算法 Boosting集成学习 级联残差回归 激光与光电子学进展
2022, 59(8): 0810018
