1 西安建筑科技大学信息与控制工程学院，陕西 西安 710055
2 陕西省文物保护研究院，陕西 西安 710075
现有残缺文字图像的修复需要确定Mask区域后对其填补，如果文字残缺部分剩余信息量过于稀疏，将无法确定Mask区域。针对该问题，提出了一种基于内容风格迁移的残缺稀疏文字图像盲修复方法。利用循环生成对抗网络构建修复前后文字图像间的全局关联像素信息，将残缺文字的图像内容风格特征迁移为完整文字图像从而进行修复；并在网络中加入自注意力机制对稀疏像素进行全局约束，解决迁移过程中相隔较远文字稀疏像素之间依赖关系较弱的问题；同时在自注意力机制中使用最大池化，提高迁移修复后的文字图像纹理特征；使用最小二乘损失替换原网络模型中的sigmoid交叉熵损失函数，提高迁移精度。实验结果表明，所提方法不借助Mask指导，能够盲修复稀疏性残缺文字图像中的随机未知缺失区域。
成像系统 盲修复 循环生成对抗网络 自注意力模块 最小二乘损失 激光与光电子学进展
2022, 59(24): 2411001
1 湘潭大学自动化与电子信息学院, 湖南 湘潭 411100
2 清华大学国家CIMS工程技术研究中心, 北京 100084
为了解决自注意力机制的注意力图计算复杂度高、内存占用大等问题,同时提高语义分割网络的性能,提出了一种基于注意力编码的轻量化网络。该网络用自适应位置注意力模块和全局注意力上采样模块分别对长距离语义依赖关系进行编码和解码,在计算注意力图时先用自适应位置注意力模块排除无用的基组,再获取上下文信息;全局注意力上采样模块用全局上下文信息引导低层特征重构高分辨率图像。实验结果表明,本网络在PASCAL VOC2012验证集上的分割精度达到84.9%,相比分割精度相近的双路注意力网络,本网络的每秒浮点运算次数降低了16.9%,占用的GPU内存减少了12.9%。
图像处理 语义分割 自注意力模块 轻量化网络 编解码结构 激光与光电子学进展
2021, 58(14): 1410012
