1 重庆邮电大学计算机科学与技术学院重庆空间大数据智能技术工程研究中心，重庆 400065
2 昆明理工大学信息工程与自动化学院，云南 昆明 650500
高分辨率无人机遥感图像具有极为丰富的语义和地物特征，在语义分割中容易出现目标分割不全、边缘信息缺失、分割精度不足等问题。为了解决上述问题，基于DeepLabV3_plus模型提出改进的DeepLabV3_DHC。首先，利用多种主干网络进行下采样，采集图像的低级特征和高级特征。其次，将原模型的atrous spatial pyramid pooling（ASPP）全部替换成深度可分离混合空洞卷积，同时添加自适应系数，减弱网格效应。之后，抛弃传统上采样的双线性插值法，替换为可学习的密集上采样卷积。最后，在低级特征中串联注意机制。选用多种主干网络进行实验，数据集选用四川省隆昌市地区的部分图像，采用平均交并比和类别平均像素准确率作为评价指标。实验结果表明：所提方法不仅具有较高的分割精度，而且减少了计算量和参数量。
城市无人机遥感图像 语义分割 深度可分离混合空洞卷积 密集上采样 注意力机制 网格效应 激光与光电子学进展
2024, 61(4): 0428005
常州大学计算机与人工智能学院, 江苏常州 213164
在人群计数中, 针对尺度变化、行人分布不均以及夜间较差成像条件, 提出了一种基于 RGB-T(RGB-Thermal)图像的多模态人群计数算法, 称为双流残差扩张网络, 它由前端特征提取网络、多尺度的残差扩张卷积模块和全局注意力模块所构成。其中, 前端网络用来提取 RGB特征和热特征, 扩张卷积模块进一步提取不同尺度的行人特征信息, 全局注意力模块用来建立全局特征之间的依赖关系。此外, 还引入了一种新的多尺度差异性损失, 以提高网络的计数性能。为评估该方法, 在 RGBT-CC(RGBT Crowd Counting)数据集和 DroneRGBT数据集上进行了对比实验。实验结果表明, 在 RGBT-CC数据集上与 CMCRL(Cross-modal Collaborative Representation Learning)算法相比该算法的 GAME(0)
人群计数 RGB-T图像 扩张卷积 全局注意力 多尺度差异性损失 crowd counting, RGB-T images, dilated convolution,
1 南京理工大学自动化学院, 江苏南京 210094
2 南京信息工程大学电子与信息工程学院, 江苏南京 210044
3 南京熊猫信息产业有限公司, 江苏南京 210038
现有的人群计数方法不能够完全适用于轨道交通场景中, 为此, 提出一种基于卷积神经网络的人群计数模型。模型采用 VGG16作为前端网络提取浅层特征, 提出一种基于 Inception结构改进的 M-Inception结构, 结合空洞卷积构成后端网络, 增大感受野, 适应多监控角度下不同尺寸的行人目标; 并提出一种融合行人总数估计损失和密度图损失的加权损失函数。将本文模型与 4种现有模型进行对比实验, 结果表明, 提出的人群计数算法在地铁场景中的平均绝对误差和均方误差仅为 1.46和 2.13, 优于 4种对比模型。考虑到模型的实际应用, 将模型部署到海思嵌入式芯片上, 实测结果表明, 模型可在嵌入式芯片上取得较高的计算速度和准确率, 满足实际应用场景的需求。
人群计数 地铁场景 空洞卷积 嵌入式实现 crowd counting subway scene dilated convolution embedded implementation 太赫兹科学与电子信息学报
2023, 21(7): 934
1 中国石油大学（华东）海洋与空间信息学院，山东青岛 266580
2 中国石油大学（华东）计算机科学与技术学院，山东青岛 266580
针对红外与可见光图像融合算法中多尺度特征提取方法损失细节信息，且现有的融合策略无法平衡视觉细节特征和红外目标特征，出了基于空洞卷积与双注意力机制（Dilated Convolution and Dual Attention Mechanism, DCDAM）的融合网络。该网络首先通过多尺度编码器从图像中提取原始特征，其中编码器利用空洞卷积来系统地聚合多尺度上下文信息而不通过下采样算子。其次，在融合策略中引入双注意力机制，将获得的原始特征输入到注意力模块进行特征增强，获得注意力特征；原始特征和注意力特征合成最终融合特征，得在不丢失细节信息的情况下捕获典型信息，同时抑制融合过程中的噪声干扰。最后，解码器采用全尺度跳跃连接和密集网络对融合特征进行解码生成融合图像。通过实验表明，DCDAM比其他同类有代表性的方法在定性和定量指标评价都有提高，体现良好的融合视觉效果。
图像融合 空洞卷积 多尺度结构 密集网络 image fusion, dilated convolution, multiscale stru
1 聊城大学物理科学与信息工程学院山东省光通信科学与技术重点实验室，山东 聊城 252059
2 聊城大学计算机学院，山东 聊城 252059
目前中华传统刺绣工艺传承保护问题中的修复任务主要以人工为主，修复过程需要大量的人力、物力。随着深度学习的高速发展，不同类型的刺绣文物损伤可以利用生成对抗网络进行修复。针对上述问题，提出一种基于改进深度卷积生成对抗网络（DCGAN）的刺绣图像修复方法。首先，在生成器部分引入空洞卷积层扩大感受野，并添加卷积注意力机制模块，在通道与空间2个维度增强重要特征的指导作用；在判别器部分增加全连接层数提升网络解决非线性问题的能力；在损失函数部分联合均方误差损失与对抗损失通过网络训练相互博弈的过程实现刺绣图像修复。实验结果表明：引入空洞卷积层与注意力机制提升了网络性能与修复效果，最终得到修复图像的结构相似性高达0.955，能够得到较为自然的刺绣图像修复效果，可以为专家提供纹理、色彩等信息作为参考辅助后续的修复。
非遗文化保护 刺绣图像修复 生成对抗网络 卷积神经网络 空洞卷积 注意力机制 激光与光电子学进展
2023, 60(20): 2010005
1 山东中医药大学实验室管理处，山东 济南 250355
2 山东中医药大学智能与信息工程学院，山东 济南 250355
糖尿病视网膜病变是糖尿病最常见也是最严重的并发症之一。为提高对糖尿病视网膜病变严重程度的诊断准确率，进一步为糖尿病视网膜病变治疗的精准用药提供依据，提出一种新型的特征融合网络模型。首先利用轻量化网络EfficientNet-B0提取眼底图像的不同层特征，使用高层特征结合三个不同空洞率的空洞卷积形成多尺度特征。然后引入多尺度通道注意力模块（MS-CAM），赋予高层特征和低层特征新的权重，对高低层特征进行融合，形成最终的特征表征，从而完成对糖尿病视网膜病变严重程度的分类。实验结果表明，所提模型的分类准确率达85.25%，表明其具有较好的可行性，在临床上给医生诊断起到了辅助作用，能更有效地预防糖尿病视网膜病变的进一步恶化。
自动分类 糖尿病视网膜病变 特征融合网络 空洞卷积 注意力机制 激光与光电子学进展
2023, 60(14): 1417001
1 南京信息工程大学,a.自动化学院
2 b.江苏省大气环境与装备技术协同创新中心, 南京 210000
3 化工过程先进控制和优化技术教育部重点实验室, 上海 200000
多种应用依赖于数据理解的准确性, 而语义图像分割有效地解决了这个问题, 它为基于像素级别的场景理解提供了必要的上下文信息。鉴于ResNeXt50相比于一般的卷积操作具有更强的特征提取能力, 提出了一种基于ResNeXt50的U-Net网络结构ECAU-Net。在融合过程中, 通过引入超强通道注意力(ECA)模块进一步增强特征表示对场景分割的判别能力。除此之外, 在整体网络结构中引入空洞卷积, 在不改变卷积核大小的情况下扩大图像的感受野范围,从而最大化地提高网络性能。实验结果表明, 在CamVid数据集上, ECAU-Net相较于U-Net在Acc, Acc class, MIoU和FWIoU这4个评价指标上分别提高了2.1%, 8.6%, 8.2%和3.2%。
语义图像分割 空洞卷积 超强通道注意力模块 semantic image segmentation dilated convolution efficient channel attention module U-Net U-Net
江西理工大学电气工程与自动化学院，江西 赣州 341000
针对视网膜血管分割中有标签图像数据有限、血管结构复杂尺度不一且易受病变区域干扰等问题，提出一种多尺度密集注意力网络用于视网膜血管分割。首先，以U-Net架构为基础，引入并行空间和通道挤压激励注意力密集块（scSE-DB）代替传统卷积层，加强特征传播能力，实现了对特征信息的双重校准，使模型能更好地识别血管像素；其次，在网络底端嵌入级联空洞卷积模块，以捕获多尺度血管特征信息，提升网络获取深层语义特征的能力；最后，在公共数据集DRIVE、CHASE_DB1和STARE上进行实验，所提网络的准确率分别为96.50%、96.62%和96.75%，灵敏度分别为84.17%、83.34%和80.39%，特异性分别为98.22%、97.95%和98.67%。所提网络的整体分割性能优于现有多数先进算法。
图像处理 视网膜血管分割 级联空洞卷积 并行空间和通道挤压激励模块 注意力密集块 激光与光电子学进展
2023, 60(6): 0610011
1 四川轻化工大学 自动化与信息工程学院，四川 宜宾 644000
2 四川轻化工大学 人工智能四川省重点实验室，四川 宜宾 644000
针对人脸图像修复的深度学习网络存在修复后的人脸图像面部语义信息不合理和面部轮廓不协调的问题，提出了一种基于人脸结构信息引导的人脸图像修复网络。首先，采用编码器-解码器网络技术构建人脸结构草图生成网络，并在结构草图生成网络的生成器中加入跳跃连接和引入带膨胀卷积的残差块以生成待修复区域的结构草图。其次，在构建人脸修复网络时，在修复网络生成器中引入注意力机制，让修复网络在修复过程中更多关注待修复区域，并以生成的人脸结构草图为引导从而实现人脸图像面部语义结构和纹理信息的生动修复。最后，在结构草图生成网络的损失函数中引入特征匹配损失进行模型训练，从而约束生成器生成与真实结构草图更相似的结果；在修复网络的损失函数中联合感知损失和风格损失进行模型训练，从而更好地重建待修复区域的人脸图像面部轮廓结构和颜色纹理，使修复后的图像更接近真实图像。对比实验结果表明，在人脸图像数据集中，本文所设计的网络模型的修复性能有较高的提升。
人脸修复 解码器-编码器 膨胀卷积 跳跃连接 注意力机制 face inpating encoder-decoder dilated convolution skip connections attention mechanism
