1 北京机电工程总体设计部, 北京 100005
2 北京化工大学信息科学与技术学院, 北京 100029
针对如何充分提取和融合红外与可见光图像典型特征的问题, 提出一种基于空间多尺度残差网络的图像融合算法。首先, 将源图像输入基于空间多尺度残差模块组成的编码器网络, 通过源图像重建任务, 训练编码器自动获取重要特征信息的能力；然后, 引入特征金字塔结构, 设计了特征通道自注意力机制, 编码器输出的基础层和细节层进行融合, 减小尺度噪声, 并由解码器重构出融合图像；最后, 利用公开数据集进行定性和定量实验, 证明了改进算法在突出红外图像目标和保留可见光图像纹理细节两方面的优势, 相比于DDcGAN算法, 新算法的标准差和平均梯度分别提升了12.91%和47.41%。
图像融合 自动编码器 空间多尺度残差模块 通道自注意力 image fusion auto-encoder spatial multi-scale residual module channel self-attention 大气与环境光学学报
2023, 18(5): 469
1 江西理工大学 电气工程与自动化学院，江西赣州34000
2 华南理工大学 计算机科学与工程学院，广东广州510006
针对皮肤病变图像分割时存在异物遮挡、特征信息缺失和病变区域误分割等问题，提出一种基于高分辨率复合网络的皮肤病变分割方法。该方法一是利用预处理操作细化和扩充皮肤病变图像，降低异物遮挡对网络分割性能的影响。二是利用高分辨率网络和多尺度稠密模块构建编码部分，高分辨率网络能够保证高清特征图全局传递，多尺度稠密模块能够最大化传递病变特征，减少图像特征信息缺失，精确定位皮肤病变区域。三是利用反向高分辨率网络和双残差模块构建解码部分，双残差模块在重建解码特征时能够捕获深层语义信息与空间信息，提高皮肤病变图像分割精度。在ISBI2016、ISBI2017和ISIC2018数据集上进行实验，其准确度分别为96.14%、93.72%和95.73%，Dice相似系数分别为93.16%、88.56%和92.00%，Jaccard指数分别为87.01%、77.19%和85.19%，其分割方法整体性能优于现有方法。仿真实验证明，高分辨率复合网络对皮肤病变图像具有较好的分割效果，为皮肤疾病的诊断提供了新窗口。
皮肤病变 图像分割 高分辨率网络 多尺度稠密模块 双残差模块 skin lesions image segmentation high-resolution network multi-scale dense module double residual module 光学 精密工程
2022, 30(16): 2021
1 昆明理工大学信息工程与自动化学院，云南 昆明 650500
2 云南省计算机技术应用重点实验室，云南 昆明 650500
针对受肺肩区域、胸膈角及肋骨影响的胸部肺野分割问题，提出了一种基于改进U-Net的肺野分割算法。首先，用inception模块代替U-Net编码块中的卷积层，在增加网络宽度的同时捕获更多的图像特征。然后，在编码块与解码块中引入残差网络，提升网络深度的同时保证网络稳定；在编码与解码之间用跳跃连接增强特征的传递和利用，解决编码部分连续下采样中的胸部肺野特征丢失问题。最后，在编码与解码部分结合通道和空间注意力机制对图像特征进行重标定，有效提高了算法的分割精度。实验结果表明，相比其他分割算法，本算法的分割性能更好，在公开Montgomery County数据集上的准确率、召回率、特异性、平均交并比分别为98.90%、97.81%、99.28%、97.17%。
图像处理 肺野分割 inception模块 残差模块 跳跃连接 U-Net模型 激光与光电子学进展
2022, 59(2): 0210010
1 长春工业大学计算机科学与工程学院, 吉林 长春 130012
2 长春理工大学光电信息学院信息工程学院, 吉林 长春 130114
在眼科疾病的诊断中, 对视网膜血管进行分割是非常有效的一种方法。在方法使用中, 经常会遇到由于视网膜血管背景对比度低及血管末梢细节复杂导致的血管分割难度较大的问题, 通过在设计网络的过程中在基础 U-net网络中引入残差学习, 注意力机制等模块, 并将两者巧妙地结合在一起, 提出一种新型的基于 U-net的 RAU-net视网膜血管图像分割算法。首先, 在网络的编码器阶段加入残差模块, 解决了模型网络加深导致梯度爆炸以及梯度消失的问题。其次, 在网络的解码器阶段引入注意力门(attention gate, AU)模块, 用来抑制不必要的特征, 从而使模型产生更高的精度。通过在 DRIVE数据集上进行验证, 该算法的准确率、灵敏度、特异性和 F1-score分别达到了 0.7832, 0.9815, 0.9568和 0.8192。分割效果相对于普通监督学习算法较为良好。
图像分割 视网膜血管 全卷积网络 残差模块 注意力机制 image segmentation retinal vessels fully convolutional network residual module attention mechanism
为解决光在水下传播过程中由吸收与散射效应导致的水下图像模糊、对比度低和颜色失真问题, 提出一种基于Inception-Residual和生成对抗网络的水下图像增强算法。首先, 将退化水下图像缩放至256×256×3大小, 以获得用于训练模型的数据集。接着, 将Inception模块、残差思想、编码解码结构和生成对抗网络相结合, 构建IRGAN(Generative Adversarial Network with Inception-Residual)模型来增强水下图像。然后, 利用全局相似性、内容感知和色彩感知构造多项损失函数, 约束生成网络和判别网络的对抗训练。最后, 通过训练好的模型对退化水下图像进行处理以获得清晰的水下图像。实验结果表明: 与现有增强方法相比, 所提算法增强的水下图像在PSNR、UIQM和IE指标上的平均值分别比第二名提升13.6%、4.1%和0.9%。在主观感知和客观评估中, 增强后的水下图像在清晰度、对比度增强和颜色校正方面均得到改善。
图像处理 水下图像增强 Inception-Residual模块 编码解码结构 生成对抗网络 image processing underwater image enhancement Inception-Residual module encoding and decoding structure generative adversarial network
河北工业大学电子信息工程学院, 天津 300401
堆栈沙漏网络(SHN)是人体姿态估计中的代表性研究成果,但该网络忽略了关节局部信息。因此,提出了一种基于改进沙漏网络的人体姿态估计模型。首先,利用多个残差模块及步长为2的卷积层获取低层次到高层次的特征,同时随着网络层数的加深,相应调整残差模块的数目和通道数,以突出局部细节特征信息。然后,为了提取遮挡部位的纹理和形状等局部特征,融合了在线困难关键点挖掘模块。最后,采用反卷积最大化恢复原始的局部特征。实验结果表明,本模型在COCO数据集上的平均精度达到了74.6%,**数量为1.5×10 7,比叠加8个SHN(8-SNH)的平均精度高5.1个百分点,且其**数量仅为8-SNH的1/3。
机器视觉 人体姿态估计 堆栈沙漏网络 残差模块 在线困难关键点挖掘 激光与光电子学进展
2021, 58(20): 2015004
1 重庆大学光电技术及系统教育部重点实验室, 重庆 400040
2 重庆大学光电工程学院, 重庆 400040
3 重庆师范大学计算机与信息科学学院, 重庆 401331
针对室内场景下光照变化、物体相互遮挡以及类别复杂等问题,提出了一种基于双流加权Gabor卷积网络融合的彩色-深度(RGB-D)图像语义分割方法。为了获得方向和尺度不变性特征,设计了一种加权Gabor方向滤波器用于构建深度卷积网络(DCN),提取对方向和尺度变化具有适应性的特征信息。为了构建轻量级特征提取网络,采用宽残差-加权Gabor卷积网络分别提取彩色和深度双流图像特征,并利用金字塔池化模块对提取的深度特征进行多尺度融合以丰富图像上下文信息。对所提语义分割方法在NYUDv2数据集上进行实验,分别设置不同的对比方法。结果表明所提方法具有合理性和有效性,并在分割效果上具有一定的竞争性。
图像处理 语义分割 加权Gabor卷积网络 宽残差模块 多尺度特征融合 室内RGB-D图像 光学学报
2020, 40(19): 1910001
天津大学电气自动化与信息工程学院, 天津 300072
针对当前智能驾驶领域场景理解中的语义分割算法无法同时满足高精度和高效率要求的问题,提出了精确高效的语义分割算法。基于可分离残差模块和降采样模块,设计了充分利用其学习能力和学习效率的高效精确语义分割网络结构。利用Cityscapes数据集,在图像处理效率12 frame/s的基础上达到分割精度67.86%。研究结果表明,所提方法在精度和效率上均能达到较好的效果,实现了精度和效率的平衡。
图像处理 语义分割 卷积神经网络 深度可分离卷积 可分离残差模块 激光与光电子学进展
2019, 56(5): 051005
