唐璐 1,1,2,2万良 1,1,2,">*王婷婷 1,1,2,2李树胜 1,1,2,2
1 贵州大学计算机科学与技术学院，贵州 贵阳 550025
2 贵州大学计算机软件与理论研究所，贵州 贵阳 550025
在图像的语义分割任务中，不同对象之间像素值存在差异，导致现有的网络模型在图像语义分割过程中丢失图像局部细节信息。针对上述问题，提出一种图像语义分割方法（DECANet）。首先，引入通道注意力网络模块，通过对所有通道的依赖关系进行建模提高网络的表达能力，选择性地学习并强化通道特征，提取有用信息，抑制无用信息。其次，利用改进的空洞空间金字塔池化（ASPP）结构，对提取到的图像卷积特征进行多尺度融合，减少图像细节信息丢失，且在权重参数不改变的情况下提取语义像素位置信息，加快模型的收敛速度。最后，DECANet在PASCAL VOC2012和Cityscapes数据集上的平均交并比分别达81.08%和76%，与现有的先进网络模型相比，检测性能更优，可以有效地捕获局部细节信息，减少图像语义像素分类错误。
图像语义分割 注意力机制 空洞空间金字塔池化 多尺度融合 激光与光电子学进展
2023, 60(4): 0410002
1 江南大学物联网工程学院物联网技术应用教育部工程研究中心，江苏 无锡 214122
2 无锡太湖学院江苏省物联网应用技术重点建设实验室，江苏 无锡 214122
3 台州市产品质量安全监测研究院，浙江 台州 318000
卷积神经网络在对图像进行语义分割时，高层特征经过降采样和padding操作和低层特征之间容易产生错位。为了解决高低层特征之间的错位问题，更好地聚合多尺度特征信息，提出了一种带有多尺度特征对齐聚合（MFAA）模块的语义分割方法。MFAA模块采用一种可学习插值策略来学习像素的变换偏移，可以有效缓解不同尺度特征聚合的特征不对齐问题，同时模块内的注意力机制提高了解码器恢复重要细节特征的能力。该方法利用高层特征的语义信息和低层特征的空间信息，通过多个MFAA模块将高低层特征对齐之后聚合到一起，从而实现图像更加精细的语义分割效果。将所提网络结构在语义分割数据集PASCAL VOC 2012上进行了验证，使用ResNet-50作为骨干网络时在验证集上的平均交并比值达到了78.4%。实验结果表明，该方法与几种主流分割方法相比在评价指标方面存在优越性，可以有效提高图像分割的效果。
机器视觉 图像语义分割 特征对齐 多尺度特征 注意力机制 激光与光电子学进展
2023, 60(2): 0215004
西安工程大学电子信息学院，陕西 西安 710600
针对目前Deeplab v3+模型进行图像语义分割时部分细节损失严重，存在漏分割、误分割现象，在其算法基础上构建了新的语义分割模型N-Deeplab v3+。新模型设计异感受野拼接的空洞空间金字塔池化结构，增强各层级信息间相关性；增设多次跨层特征融合，提升对图像细节的表征力；构建基于注意力机制的特征对齐模块，引导高低级特征对齐并有针对性地强化对重要通道特征的学习，提升模型学习能力。在Cityscapes数据集上的实验结果表明，所提改进方案能够有效提高小尺度目标关注度，缓解目标误分割问题，提升模型语义分割精度。在PASCAL VOC 2012数据集上进一步验证新模型的泛化能力。N-Deeplab v3+模型在Cityscapes数据集和PASCAL VOC 2012数据集上的平均交并比达76.31%和81.97%，较原模型分别提升了1.69个百分点和2.14个百分点。
深度学习 图像语义分割 Deeplab v3+ 注意力机制 激光与光电子学进展
2022, 59(16): 1610009
1 中北大学 仪器科学与动态测试教育部重点实验室，山西 太原 030051
2 太原工业学院 电子工程系，山西 太原 030051
针对当前图像分割算法在实现工业铸件内部缺陷分割上精度低且算法不够轻量化的问题，提出一种基于改进DeepLabv3+的工业铸件内部缺陷检测算法Effi-DeepLab。该方法采用EfficientNet中的MBConv来代替原有的Xception模块进行特征提取，使特征提取网络更加高效与轻量化；针对工业铸件内部缺陷尺寸小的问题，重新设计空洞空间金字塔池化（ASPP）层中空洞卷积的扩张率，使得卷积块对小目标具有更高的鲁棒性；在解码端充分利用特征提取阶段的低阶语义信息进行多尺度特征融合，以提高小目标缺陷分割的精度。实验结果表明，在本文使用的汽车轮毂内部缺陷图像数据集中，Effi-DeepLab模型对缺陷的分割准确率和平均交并比（mIoU）分别为93.58%和89.39%，相比DeepLabv3+分别提升了2.65%和2.24%，具有更好的分割效果；此外，还通过实验验证了本文提出算法具有良好的泛化性。
图像语义分割 深度学习 DeepLabv3+ 无损检测 image semantic segmentation deep learning DeepLabv3+ non-destructive detection
1 江西理工大学信息工程学院, 江西 赣州 341000
2 广州卫富科技开发有限公司, 广东 广州 510200
3 赣南师范大学物理与电子信息学院, 江西 赣州 341000
图像语义分割作为一种像素级分类技术,已应用于合成孔径雷达(SAR)图像的解译领域中。U-Net是一种端到端的图像语义分割网络,具有典型的编码-解码结构。其中,编码部分主要由卷积层和池化层组成,可以有效提取图像中的目标特征,但难以获取目标的位置和方向等信息。胶囊网络是一种能够获取目标姿态(位置、大小、方向)等信息的神经网络,因此,提出了一种基于U-Net和胶囊网络的SAR图像语义分割方法。此外,考虑到SAR图像数据集较小的特点,将U-Net的编码部分设计成视觉几何组(VGG16)结构,将预训练的VGG16模型直接迁移至编码部分。为了验证本方法的有效性,在两个极化SAR图像数据集上开展了建筑物目标的分割实验。结果表明,相比U-Net,本方法的精确率、召回率、F1分数和交并比更高,且能减少网络模型的训练时间。
图像处理 合成孔径雷达 图像语义分割 U-Net 胶囊网络 迁移学习 激光与光电子学进展
2021, 58(20): 2010009
1 北京航空航天大学 仪器科学与光电工程学院, 北京 100191
2 河南科技大学 机电工程学院, 河南 洛阳 471023
图像语义分割是现代自动驾驶系统的一个必要部分, 因为对汽车周围场景的准确理解是导航和动作规划的关键。为提高自动驾驶场景的图像语义分割准确率, 且考虑到当下流行的基于卷积神经网络的语义分割模型（DeepLab v3+）无法有效地利用注意力信息, 导致分割边界粗糙等问题, 提出一种融合底层像素信息与通道、空间信息的语义分割神经网络。在卷积神经网络中插入注意力模块, 提取出图像语义级别的信息, 通过学习图像的位置信息和通道信息得到更加丰富的特征; 从卷积神经网络输出的各类别得分值计算出单点势能, 且从初步分割图和原图得到成对势能, 以便全连接条件随机场对图像的全部像素进行建模, 并且优化图像的局部细节; 全连接条件随机场通过迭代得到语义分割的最终结果。在CityScapes数据集上进行了测试, 与DeepLab v3+相比较, 改进后的模型分别提高了均交并比和均像素精度等关键指标1.07%和3.34%。它能够更加精细地分割目标, 较好地解决分割边界粗糙, 有效地抑制边界区域分割的过度平滑和不合理孤岛等问题。
自动驾驶 图像语义分割 卷积神经网络 autonomous driving semantic image segmentation convolutional neural networks DeepLab v3+ DeepLab v3+ 光学 精密工程
2019, 27(11): 2429
1 河北工业大学人工智能与数据科学学院, 天津 300401
2 河北省大数据计算重点实验室, 天津 300401
针对图像语义分割中图像的上下文信息利用不充分、边缘分割不清等问题,提出一种基于多尺度特征提取与全连接条件随机场的网络模型。分别以多尺度形式将RGB图像和深度图像输入网络,利用卷积神经网络提取图像特征;将深度信息作为补充信息添加到RGB特征图,得到语义粗分割结果;采用全连接条件随机场优化语义粗分割结果,最终得到语义精细分割结果。实验结果表明,所提方法提高了图像语义分割的精度,优化了图像语义分割的边缘,具有实际应用价值。
图像处理 图像语义分割 卷积神经网络 多尺度特征 深度学习 全连接条件随机场 激光与光电子学进展
2019, 56(13): 131007
长春理工大学光电工程学院, 吉林 长春 130022
为了提高驾驶员在车辆行驶过程中的安全性,设计了一种结合图像语义分割的增强现实型平视显示(AR-HUD)系统。首先,提出一种改进的单发多框检测器网络对道路场景图像进行语义分割,网络前端采用VGG-16提取图像特征,网络后端对获取的特征图进行上采样,从而对特征图进行像素分割。通过对网络的训练,得到场景目标的像素级分类结果,即环境的语义内容信息。随后,通过分析真实场景、光学显示系统、驾驶员之间的关系,将计算机产生的虚拟信息叠加到真实场景,并将显示内容注册到驾驶员视野中,从而提高行车安全。实验结果表明,语义分割算法的准确率能达到77.8%,虚实注册算法处理每帧图像的时间平均为45 ms,约22 frame·s
-1。
图像处理 增强现实 图像语义分割 虚实注册
