1 兰州交通大学 电子与信息工程学院，甘肃兰州730000
2 兰州大学 信息科学与工程学院，甘肃兰州730000
利用图像结构特征进行图像修复，是近年来在深度学习技术广泛应用背景下出现的新方法。应用该方法可以在缺失区域内生成合理的内容，但图像修复结果过于依赖图像结构的提取内容，且在实际训练中会出现错误的持续传播和累积，一旦图像结构存在噪声或失真会直接影响到图像的生成质量。该方法处在探索应用阶段，尚存在网络训练难度大、鲁棒性较差、生成图像上下文语义不一致等问题。为此，本文提出了一种图像平滑结构指导修复的并行网络结构。图像平滑结构的生成内容不直接作为下一级网络的输入，只为网络的解码层提供指导信息。同时，为了更好地匹配和均衡结构与图像之间的特征关系，本文结合transformer提出了一种多尺度特征指导模块。该模块利用transformer联系全局特征的强大建模能力，对结构和图像纹理之间的特征进行匹配和均衡。实验结果表明，本文方法在三个常用的数据集上能够有效地恢复图像缺损内容，并且可以作为图像编辑工具实现目标移除。
图像修复 深度学习 平滑结构 Transformer image inpainting deep learning smooth structure transformer
1 聊城大学物理科学与信息工程学院山东省光通信科学与技术重点实验室，山东 聊城 252059
2 聊城大学计算机学院，山东 聊城 252059
目前中华传统刺绣工艺传承保护问题中的修复任务主要以人工为主，修复过程需要大量的人力、物力。随着深度学习的高速发展，不同类型的刺绣文物损伤可以利用生成对抗网络进行修复。针对上述问题，提出一种基于改进深度卷积生成对抗网络（DCGAN）的刺绣图像修复方法。首先，在生成器部分引入空洞卷积层扩大感受野，并添加卷积注意力机制模块，在通道与空间2个维度增强重要特征的指导作用；在判别器部分增加全连接层数提升网络解决非线性问题的能力；在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现刺绣图像修复。实验结果表明：引入空洞卷积层与注意力机制提升了网络性能与修复效果，最终得到修复图像的结构相似性高达0.955，能够得到较为自然的刺绣图像修复效果，可以为专家提供纹理、色彩等信息作为参考辅助后续的修复。
非遗文化保护 刺绣图像修复 生成对抗网络 卷积神经网络 空洞卷积 注意力机制 激光与光电子学进展
2023, 60(20): 2010005
1 西安工程大学纺织科学与工程学院，陕西 西安 710048
2 西安工程大学大学科技园，陕西 西安 710048
为修复破损纺织品文物图像，在Criminisi算法基础上，提出一种改进的基于K-means颜色分割的纺织品文物图像修复算法。根据纺织品文物图像的特点，将RGB图像转化为Lab颜色模型，采用K-means分类器对a*b*层数据基于颜色进行分割处理，对纹样图案边缘进行标定并缩小匹配块搜索区域；引入L值的标准差来表示颜色离散度，对优先权函数以及自适应匹配块进行改进。用所提算法与文献报道的3种算法对自然破损纺织品文物图像和人为破损纺织品图像进行修复，并对修复结果进行评价。实验结果表明，所提算法修复的图像纹理自然、结构合理，峰值信噪比、结构相似性、特征相似性、均方误差值更好。
破损纺织品文物 纹样图案 Criminisi算法 图像修复 K-means聚类 激光与光电子学进展
2023, 60(16): 1610011
1 辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105
2 渤海船舶职业学院，辽宁 葫芦岛 125105
针对现有修复算法在处理较大面积缺失时易产生伪影且与原图像语义不符的问题，提出了基于门控卷积与注意迁移的二阶图像修复方法，通过加强待修复图像内部语义对修复网络的影响来确保修复结果整体语义的一致性。首先使用多层卷积对缺损图像进行粗略修复；然后将粗略修复结果输入改进的细化修复网络，使用门控卷积和注意迁移网络对图像内部纹理细节进行修复处理，在编解码阶段引入SimAM模块作为注意力机制，强化对待修复图像中重要信息的筛选能力；最后通过谱归一化的马尔科夫判别器判别真伪同时提供对抗损失，将感知损失与多尺度结构相似性损失作为重建损失再将其与对抗损失相结合作为损失函数。与其他图像修复方法的对比实验表明，本文方法较其中最好结果在结构相似性上提升1.47%，峰值信噪比上提升5.48%。本文方法修复结果更加真实自然且在各种尺寸缺失下均实现了理想的修复效果。
图像处理 图像修复 门控卷积 注意迁移 对抗损失 image processing image inpainting gated convolution attention transfer adversarial loss
1 广西大学电气工程学院，广西 南宁 530004
2 中国科学院合肥智能机械研究所，安徽 合肥 230031
图像修复技术是目前计算机视觉领域的研究热点之一，该技术主要利用缺失区域周边或者外部辅助数据来对图片受损区域进行信息推理和修复。随着大数据时代的到来，基于深度学习的图像修复技术以其出色的性能成为了图像处理领域内的关注点。对现有的图像修复算法进行总结，对各个算法的模型结构、性能表现及在常用数据集上的指标进行讨论说明，并对该领域目前所存在的问题和难点进行分析和展望。
图像修复 深度学习 卷积神经网络 自编码网络 对抗生成网络 激光与光电子学进展
2023, 60(2): 0200002
光学 精密工程
2022, 30(18): 2267
南京林业大学轻工与食品学院，江苏 南京 210037
针对缺陷国画类数字图像的修复问题，提出一种基于自体理论分割体系的改进BSCB模型。首先利用基于分通道自体理论的分割模型对待修复区域与背景区域进行精确分离；之后对于分离所得的待修复区域，使用Reinhard色彩迁移算法对其进行指定色彩标记，以便于计算机的自动识别；最后针对传统BSCB算法，由于拉普拉斯光滑算子综合考虑所有邻点进行同性扩散后容易导致图像模糊、产生等照线交叉等问题，采用基于平滑和梯度近似（ASG）算子的改进BSCB模型对标记区域进行修复，实现破损、色彩失真、细节丢失等缺陷类国画图像的修复。研究结果表明，相比于传统修复算法，所提改进算法对不同缺陷类型国画图像均有更好的修复效果，具有实际应用价值。
图像处理 图像修复 图像分割 Reinhard色彩迁移 改进BSCB模型 激光与光电子学进展
2022, 59(10): 1010002
安徽大学电子信息工程学院, 安徽 合肥 230039
双目相位恢复方法通过在倒置显微镜上安装双相机,再经过单次曝光获得的正负离焦图像计算得到相位信息,但是目镜的加工误差和相机的安装误差等会导致图像间存在平移、旋转,使得相位恢复结果不准确。提出一种基于配准修复和强度传输方程的双目显微相位恢复算法。首先对离焦图像进行配准,然后引入图像修复方法对由配准产生的黑色空穴区域进行填充和复原,最后使用边界条件下强度传输方程获取高精度的相位恢复结果。模拟实验的结果相关系数达到0.9309,在微透镜阵列实验中,恢复结果与实际结果的相对误差为2.8%,证明了所提方法的正确性与有效性。
图像处理 相位恢复 强度传输方程 配准 图像修复 边界 光学学报
2021, 41(12): 1210002
1 南京农业大学工学院/江苏省现代设施农业技术与装备工程实验室, 江苏 南京 210031
2 John Innes Centre, Earlham Institute, Norwich Research Park, Norwich, NR4 7UH, UK
3 南京农业大学作物表型组学交叉研究中心, 江苏 南京 210014
针对土壤遮挡时根系图像信息不全的问题, 提出一种热红外成像根系表型检测方法, 结合Criminisi改进算法实现根系图像信息的增强和修复, 并研究玉米根系表型与种子活力之间的关系。 首先, 设计一种适应于玉米根系构型的环形双层石英培养装置迫使玉米根系贴壁生长, 分别将老化0, 1, 3和6 d的玉米种子种植在环形培养装置中。 基于水和土壤比热容具有显著差异的特点, 利用水对玉米苗根茎进行滴灌, 并通过热空气对培养装置中的玉米根系进行短时热激励, 再用红外热像仪采集根系红外热像, 利用土壤与根土间隙水流温度的差异实现土壤遮挡处根系的热成像。 其次, 对预处理后的根系热像, 进行端点和最佳匹配对判定, 并利用Criminisi改进算法对红外热像中的断根连接, 实现根系热红外图像的修补。 最后, 利用以上方法分别对不同老化天数的玉米种子幼苗进行根系表型检测验证。 结果表明, 所提出的热红外成像方法可有助于土壤遮挡处根系的表型图像信息增强, 比彩色图像提取的根系表型参数精度提高约0.5%~10%。 玉米种子老化1d后其根系表型参数总根长（RTL）和总根数（RTN）未见明显差异, 但老化3d和6d的种子其根系表型参数具有显著差异, RTL减少20%～35%, RTN减少10%～55%, 反映了玉米种子长时间老化后其活力存在显著下降。 不同老化天数的玉米根系表型参数RTL和RTN均与老化天数呈显著负相关, 可作为种子活力的重要指标参数, 其中, 种子根系RTN参数对老化更为敏感, 更能够直观反映种子的活力水平, 老化1和3 d的种子发根与未老化种子相比均推迟1 d; 老化6 d的种子其发根则推迟2 d, 且后续根系发育一直迟缓。 所提的基于热红外成像的根系表型检测结合Criminisi改进算法的根系表型检测方法, 可用于作物根系表型高通量无损检测, 具有广阔的应用前景。
根系表型 热红外成像 图像修复 种子 无损检测 Root phenotype Thermal infrared imaging Image restoration Seed Nondestructive detection 光谱学与光谱分析
2020, 40(9): 2845
1 教育部高端装备先进感知与智能控制重点实验室, 安徽 芜湖 241000
2 安徽省电气传动与控制重点实验室, 安徽 芜湖 241000
3 安徽工程大学电气工程学院, 安徽 芜湖 241000
针对传统Criminisi算法中优先权值很快趋于零,且修复时间较长等缺点,提出一种改进的基于信息熵和梯度因子的图像修复算法。首先,将图像信息熵与梯度因子拟合为权重因子,采用优化优先权的计算方式找到最优修复块;其次,利用可度量像素块复杂度的信息熵对匹配块的搜索区域进行调整,建立搜索区域的动态法则;然后,借助于梯度因子建立匹配块模板尺寸的自适应模型,完善最优匹配块搜索策略;最后,引入序贯相似性检测算法从源区域中选取最优匹配块,实现图像的修复。实验结果表明,与传统Criminisi算法相比,所提算法无论在客观方面还是在主观方面都获得了较满意的图像修复结果,修复效果更加真实,修复图像具有更好的视觉效果。
图像处理 图像修复 Criminisi算法 信息熵 梯度因子 激光与光电子学进展
2020, 57(22): 221006
