1 天津大学微电子学院，天津 300072
2 天津大学智能与计算学部，天津 300072
3 天津市成像与感知微电子技术重点实验室，天津 300072
针对无人机航摄图像中目标尺寸差异大导致的感受野难以同时兼顾不同尺寸物体分割效果的问题，提出了利用两路分支分别提取浅层和深层信息的双路特征融合网络（DSFA-Net）。在编码器中，浅层分支利用三个串行ConvNeXt模块提取高通道数的浅层特征以保留更多空间细节；深层分支利用坐标注意力空洞空间金字塔池化（CA-ASPP）模块为特征图重新分配权重，使网络更加关注尺寸各异的分割目标，获得深层多尺度特征。在解码过程中，网络利用双边引导融合模块为两层特征建立通信以进行分辨率融合，提高层级特征的利用率。所提方法在AeroScapes和Semantic Drone航摄图像数据集上进行了实验，其平均交并比分别达到83.16%和72.09%、平均像素准确率分别达到90.75%和80.34%。与主流的语义分割方法相比，所提方法对于具有较大尺寸差异的目标，分割能力更强，更适用于无人机航摄图像场景下的语义分割任务。
语义分割 特征融合 双路网络 坐标注意力空洞空间金字塔池化 多尺度特征提取 激光与光电子学进展
2023, 60(24): 2428005
上海理工大学 健康科学与工程学院, 上海 200093
肝脏精准分割对于肝癌的定位与治疗至关重要, 针对肝脏形状尺寸不一以及边缘和病灶区域分割难度较大等问题, 提出了一个基于多层感知机和多尺度特征提取的肝脏分割网络(M2U-Net)。该网络分为卷积阶段和多层感知机阶段。在卷积阶段的编码器部分加入挤压激励模块, 突出特定的肝脏分割任务, 抑制无关背景区域; 在多层感知机阶段加入标记化多层感知机模块, 减小模型复杂度。过渡层增加了多尺度特征提取模块, 适应不同尺度肝脏的分割以及细节区域的分割; 在LiTS数据集和东方肝胆医院提供的数据集上的实验结果表明, 此分割网络在三个评价指标上结果均优于U-Net、U-Net++和CE-Net等分割网络。
肝脏分割 深度学习 标记化多层感知机 多尺度特征提取 liver segmentation deep learning tokenized MLP multi-scale feature extraction
光学 精密工程
2022, 30(18): 2253
陕西师范大学计算机科学学院，陕西 西安 710119
遥感图像分割是遥感图像处理领域的一项重要应用。针对卷积神经网络在遥感图像分割时存在建筑物错分、漏分，建筑物轮廓分割不准确的问题，基于深度学习网络U-Net，提出了一种结合多尺度注意力和边缘监督的遥感图像分割网络MAE-Net。首先，在编码阶段每层引入多尺度注意力模块，该模块对输入特征图进行通道均等分组，每组使用大小不同的卷积核进行特征提取，之后对每组施加通道注意力机制，通过自学习的方式获得更为有效的特征，解决大小不一建筑物特征提取不准确的问题；其次，在解码阶段引入边缘提取模块，构造边缘监督网络，通过损失函数计算边缘标签和预测边缘的误差，帮助分割网络更好地学习建筑物边缘特征，使建筑物边界的分割结果更为连续、平滑。实验结果表明，MAE-Net能够从背景复杂多样、尺度变化较大的遥感图像中完整地分割出建筑物，且分割精度较高。
图像处理 神经网络 遥感图像 多尺度特征提取 注意力机制 边缘监督 激光与光电子学进展
2022, 59(22): 2228004
1 中国科学院 上海微系统与信息技术研究所 微系统技术重点实验室, 上海 201800
2 中国科学院大学, 北京 100049
针对野外环境下微声传感器采集的小型轮式车、大型轮式车和履带车3种车辆声信号受风噪影响严重、分类性能较低的问题, 提出了一种长短时记忆网络(LSTM)与多尺度、多层次特征融合卷积神经网络(CNN)相结合的分类算法——野外车辆识别算法(FVNet)。该算法先采用一层LSTM网络提取声信号的时序特征, 充分利用声信号的长时依赖关系; 再用CNN并行提取多尺度特征, 避免网络加深过程中特征的流失; 引入通道注意力机制进行多尺度和多层次特征融合, 增强多尺度、多层次关键特征信息; 最后在相同数据集上进行验证。实验结果表明, FVNet算法对3种车辆的总识别率可达94.95%, 与传统方法相比, 其总识别率提高了14.61%, 取得了较好的分类效果。
车辆声信号分类 长短时记忆网络(LSTM) 卷积神经网络(CNN) 并行多尺度特征提取 通道注意力机制 特征融合 vehicle acoustic signal classification long short-term memory modal(LSTM) convolutional neural network(CNN) parallel multi-scale feature extraction channel attention mechanism feature fusion
1 河北工业大学人工智能与数据科学学院，天津 300000
2 天津航天中为数据系统科技有限公司，天津 300000
电致发光(Electroluminescence, EL)下的光伏电池EL 图像背景表现为复杂的非均匀纹理特征，且存在与裂纹相似的晶粒伪缺陷，同时裂纹表现为形状多样的多尺度特征，以上难点为检测任务带来了极大的挑战。因此，本文提出融合注意力的多尺度Faster-RCNN 模型，一方面，采用改进的特征金字塔网络获取多尺度的高级语义特征图，以此来提高网络对多尺度裂纹缺陷的特征表达能力。另一方面，采用改进的注意力区域推荐网络A-RPN，提高模型对裂纹缺陷的关注并抑制复杂背景及晶粒伪缺陷的特征。同时，在RPN 网络训练过程中，采用损失函数Focal loss，以此来降低训练过程中简单样本所占比重，使其更加关注难以区分的样本。实验结果表明，改进的算法使得EL 图像裂纹缺陷检测的准确率提高，达到接近95%。
多尺度特征提取 注意力模块 Focal loss 函数 multi-scale feature extraction attention module focal loss function
上海交通大学机械与动力工程学院，上海 200240
光场相机作为新一代的成像设备，能够同时捕获光线的空间位置和入射角度，然而其记录的光场存在空间分辨率和角度分辨率之间的制约关系，尤其子孔径图像有限的空间分辨率在一定程度上限制了光场相机的应用场景。因此本文提出了一种融合多尺度特征的光场图像超分辨网络，以获取更高空间分辨率的光场子孔径图像。该基于深度学习的网络框架分为三大模块：多尺度特征提取模块、全局特征融合模块和上采样模块。网络首先通过多尺度特征提取模块学习4D光场中固有的结构特征，然后采用融合模块对多尺度特征进行融合与增强，最后使用上采样模块实现对光场的超分辨率。在合成光场数据集和真实光场数据集上的实验结果表明，该方法在视觉评估和评价指标上均优于现有算法。另外本文将超分辨后的光场图像用于深度估计，实验结果展示出光场图像空间超分辨率能够增强深度估计结果的准确性。
超分辨 光场 深度学习 多尺度特征提取 特征融合 super-resolution light-field deep learning multi-scale feature extraction feature fusion
1 江南大学 物联网工程学院，江苏 无锡 214122
2 中国科学院上海技术物理研究所， 上海 200083
3 中国科学院研究生院， 北京 100049
针对波动性较大目标跟踪，传统Kalman滤波算法鲁棒性和实时性不足，提出一种基于多尺度特征提取的Kalman跟踪算法.前帧目标区域特征点匹配出后续帧目标区域特征点，并以后者特征点为中心，建立搜索区域，避免了遍历整幅后续帧图像，快速地为Kalman滤波方程状态后验值提供了稳定的观测信号和观测残差.实验证明，这种作为约束条件引入传统的Kalman滤波方程的多尺度特征提取技术，克服了传统Kalman滤波时间较长，易发散的缺陷，从而使其有着良好的收敛性.
目标跟踪 多尺度特征提取 Kalman滤波 收敛 target tracking multi-scale feature extraction Kalman filter convergence
