1 西安建筑科技大学 信息与控制工程学院，陕西西安70055
2 建筑机器人陕西省高等学校重点实验室，陕西西安710055
3 西安市建筑制造智动化技术重点实验室，陕西西安710055
针对混凝土表面裂缝分割过程中分割精度低、细微裂缝漏分和背景干扰等问题，提出一种联合线性引导和网格优化的裂缝分割模型。首先，在主干网络中引入多分支线性引导模块，通过自适应单维度池化增强网络对裂缝线性结构的表达能力，让不同区域的裂缝建立联系，增强全局上下文信息感知能力，提高网络分割精度；然后，提出网格细节优化模块，通过分区-优化-合并三步骤，将整个空间域划分为若干个空间网格，提取空间网格中的细微裂缝信息，防止细微裂缝漏分；最后，在主干网络的跳跃连接处嵌入混合注意力模块，在空间和通道双维度突出裂缝特征，减少背景干扰。在Deepcrack537，Crack500和CFD裂缝数据集上，所提模型的IoU值分别达到77.07%，58.96%和56.55%，F1-score值分别达到87.05%，74.19%和72.24%，明显优于大多数现有方法，具有更高的分割精度。
裂缝图像 线性引导 语义分割 网格优化 注意力机制 crack image linear guide semantic segmentation mesh optimization attention mechanism
西安建筑科技大学 信息与控制工程学院，陕西西安710055
遥感目标具有较大的尺度差异性，针对其在复杂背景干扰下易导致细粒度级别多尺度特征提取困难、预测部分有效表征较弱的问题，本文基于无锚框思想，提出一种多元特征提取与表征优化的遥感多尺度目标检测方法（Multivariate Feature extraction and Characterization optimization，MFC）。在特征提取部分，设计多元特征提取模块（Multivariate Feature Extraction，MFE）挖掘细粒度级别的多尺度特征，通过分组操作及跨组连接的方式扩大感受野、增强多个特征尺度的组合效应，并联合上下文信息进一步加强对小目标的关注；采用深层聚合结构对深浅层特征进行充分融合，以获得更全面的特征表达。在预测部分，提出一种表征优化策略（Characterization Optimization Strategy，COS），利用椭圆型映射进行标签优化以适应具有较大纵横比的遥感目标，设计坐标像素注意力组合关注多尺度目标通道、位置及像素信息，减少复杂背景干扰，使有效信息得以突出表征。在DIOR，HRRSD，RSOD数据集上进行消融及对比实验，实验结果表明：MFC模型的mAP分别达到了70.9%，90.2%和96.9%，优于大多现有方法，有效改善了误检、漏检问题，适应性和鲁棒性较强。
遥感多尺度目标 无锚框 多元特征 表征优化 注意力 remote sensing of multi-scale targets anchor-free multivariate feature characterization optimization attention 光学 精密工程
2023, 31(16): 2465
1 西安建筑科技大学信息与控制工程学院，陕西 西安 710055
2 西安交通大学自动化科学与工程学院，陕西 西安 710049
为解决工厂流水线上不同种类动态物品的快速精准抓取问题，提出一种两阶段动态多物品定位抓取方法。第1阶段采用所提多尺度上下文感知的单分支融合语义分割网络获取目标物品的掩码区域：首先特征提取网络采用单分支结构，在保证提取丰富的空间信息和高层语义信息的同时，减小网络参数量；随后特征融合网络通过双边引导特征融合模块增强空间信息和语义信息的表达能力；最后设计特征增强网络，通过特征辅助收敛模块嵌入浅层和深层网络中，加快网络收敛速度。第2阶段采用基于轮廓点检测的快速位姿估计策略在掩码区域预测最佳抓取点位姿。在自建数据集上的测试及流水线平台抓取实验结果表明，所提方法能实时检测和预测物品抓取点位姿，精准完成物品抓取，其分割精度、预测时间和抓取成功率均优于对比方法。
机器视觉 机器人抓取 两阶段定位抓取算法 多尺度上下文感知 特征增强 位姿估计 激光与光电子学进展
2023, 60(6): 0615005
1 西安建筑科技大学 信息与控制工程学院，陕西西安70055
2 西安市建筑制造智动化技术重点实验室， 陕西西安710055
针对遥感图像建筑物易受背景中道路、树木、阴影干扰而导致分割边界不清晰的问题，提出了一种融合分形几何特征的Resnet网络。所提模型基于编码-解码框架，以Resnet网络为主干网络，在编码阶段中引入融合分形先验的空洞空间金字塔池化模块（FD-ASPP），利用分形维数捕获遥感图像的分形特征，增强了Resnet网络的几何特征描述能力。解码阶段提出一种深度可分离卷积注意力融合机制（DSCAF），有效融合高层次特征和低层次特征，获取更加丰富的遥感图像语义信息和位置细节信息。在WHU遥感图像数据集上的实验表明，精确率达到0.944 8，召回率达到0.946 2，F1分数达到0.945 5，平均交并比mIoU达到0.941 5。所提模型与FCN、Segnet、Deeplab V3、U-net、SETR和AlignSeg等现有建筑物遥感语义分割模型相比，具有更好的分割精度，有效克服了道路、树木、阴影等因素的干扰，得到了较清晰的建筑物边界。
遥感图像 建筑物分割 残差网络 分形维数 特征融合 remote sensing image building segmentation Resnet fractal dimension feature fusion 光学 精密工程
2022, 30(16): 2006
1 西安建筑科技大学信息与控制工程学院，陕西 西安 710055
2 人工智能与数字经济广东省实验室（广州），广东 广州 510320
针对自然场景下混凝土裂缝背景复杂、纹理多变所造成的裂缝分割不准确问题，提出了一种基于特征增强整体嵌套网络裂缝检测算法。首先，在整体嵌套网络，一种深度学习边缘检测网络的基础上，采用多尺度监督机制融合不同尺度混凝土裂缝的预测结果，增强网络对混凝土裂缝线性拓扑结构的表达能力；然后，采用一种卷积-反卷积特征融合模块将混凝土裂缝的反卷积深层语义特征和卷积浅层细节特征有效融合，深层语义特征可以减少复杂背景干扰并提高模糊裂缝区域特征响应，浅层特征可以提高裂缝细节表达能力，进而提高裂缝特征质量；最后，提出了混合空洞卷积边界细化模块，该模块利用残差网络和空洞卷积组细化裂缝边界，从而提高裂缝分割准确性。在数据集Bridge_Crack_Image_Data和Crack Forest Dataset上进行了测试，所提算法的准确率分别达到了92.1%和91.6%，分数分别达到了80.2%和91.1%。实验结果表明，所提算法在复杂自然环境下可获得稳定而准确的分割结果，具有较强的泛化性。
图像处理 裂缝检测 VGG16 整体嵌套网络 混合空洞卷积 语义分割 激光与光电子学进展
2022, 59(10): 1010003
1 西安建筑科技大学 信息与控制工程学院， 陕西西安70055
2 人工智能与数字经济广东省实验室（广州）， 广东广州510000
基于深度学习的自然场景文本检测算法进展显著，但对具有密集不规则排布特点的文本来说，由于其间距小、分布密集，导致特征提取困难，文本检测不全；同时，现有文本检测方法常采用的不同维度特征直接拼接的方式会导致多尺度特征融合不充分，造成语义信息的丢失。针对上述问题，本文提出一种基于多维度卷积融合的密集不规则文本检测方法。网络主体采用FPN结构，设计了文本增强模块（Text Enhancement Module，TEM），通过引入额外全局文本映射以强化网络对文本信息的关注能力；提出了通道融合策略（Channel Fusion Strategy，CFS），采用自底向上方式建立高低维度特征信息链，生成语义更加丰富的特征图，减少信息损失；预测阶段采用渐进式拓展文本核的方法生成文本预测结果。在DAST1500及ICDAR2015和CTW1500数据集上的实验表明，该方法其F值分别达到81.8%，83.0%及79.0%。提出算法不仅在密集不规则文本检测上表现出更好的性能，而且在一般自然场景文本（多向、曲线文本）上也具有一定竞争力。
密集不规则文本 深度学习 卷积神经网络 文本增强 通道融合 dense irregular text deep learning convolution neural network text enhancement channel fusion
西安建筑科技大学 信息与控制工程学院，陕西西安710055
高分辨率图像具有特征尺度差异较大的特点，针对其造成的细粒度特征难以捕获、多尺度特征融合不佳问题，提出一种共享核空洞卷积与注意力引导（Kernel-Sharing Dilated Convolutions and Attention-guided FPN，KDA-FPN）的复杂场景文本检测方法；提出最小交集（Intersection Over Minimum，IOM）后处理策略，改善因文本长宽比变化较大特性导致的掩膜重叠现象，提升检测效果。首先，模型以Resnet50为主干网络采用FPN结构捕获多尺度特征；然后，利用空洞卷积扩大特征感受野，提高特征信息的多尺度捕获能力，深层次挖掘文本细粒度特征，并通过共享核手段减少模型参数量，降低计算成本；同时，采用上下文注意模块（Context Attention Module，CxAM）捕捉多感受野间的语义信息关系，通过内容注意模块（Content Attention Module，CnAM）精确定位目标位置信息，增强多尺度融合能力，提升特征图质量；最后，将同一文本区域预测的候选框按大小排列，提出将面积最大的框与相邻文本框之间区域的交集面积占较小框面积的比值作为候选框筛选指标，抑制检测结果的掩模重叠现象，实现文本的精准检测。采用ICDAR2013、ICDAR2015、Total-Text数据集进行对比实验，实验结果表明，本文模型对于水平场景文本检测的精度和召回率分别为95.3和90.4；对于倾斜文本检测的精度和召回率分别为87.1和84.2；对于任意形状文本检测的精度和召回率分别为69.6和57.3。提出的算法有效克服了图像分辨率、文本形状与长度等因素的影响，提高了检测精度，得到了更为精准的文本边界。
文本检测 注意力结构 共享核空洞卷积 特征金字塔网络 text detection attention structure kernel-sharing dilated convolutions feature pyramid network
1 西安建筑科技大学信息与控制工程学院, 陕西 西安 710055
2 人工智能与数字经济广东省实验室(广州), 广东 广州 510000
人群密度估计在智能安全防范领域具有重要的应用价值。针对人群密度估计在二维图像中视角变化呈现较大差异、特征空间信息丢失、尺度特征和人群特征提取困难等问题,提出了一种多特征信息融合的人群密度估计方法。该方法通过注意力机制引导的空间注意力透视(Perspective of spatial attention,PSA)方法,对图像多视角信息进行了有效信息编码,获取了特征图的空间全局上下文信息,弱化了视角变化带来的影响;而后通过多尺度信息聚合(Multi-Scale Information Aggregation,MSIA)方法,利用多尺度非对称卷积与不同膨胀率的空洞卷积进行了有效融合,获取了较为全面的图像尺度及特征信息。最终通过细致语义特征嵌入融合的方式,补充了高层特征图的空间信息及低层特征图的语义信息,并使上下文信息与尺度信息相互补充,提高了模型的准确度与鲁棒性。采用ShanghaiTech、Mall、Worldexpo’10数据集进行了实验验证,实验结果表明,所提方法的性能较其他对比方法有一定的提升。
图像处理 卷积神经网络 人群密度 全局上下文信息 语义嵌入 激光与光电子学进展
2021, 58(20): 2010021
