目标检测是计算机视觉领域的重点研究方向，SSD模型虽然在检测精度与速度上均取得较好的效果，但其利用低语义信息的浅层特征训练小目标，容易出现小目标漏检和误检现象。对此，提出了一种基于单次双向特征金字塔网络的改进SSD目标检测模型（OBSSD）。首先基于分层融合的思想构建双向特征融合模块来解决浅层特征利用不足的问题；其次引入融合权重来更加有效地融合不同层级的特征，改善浅层特征语义信息低的问题；最后在分类和回归预测前加入基于残差模块的检测单元，解决因分类网络偏向平移不变性导致的目标定位不准确问题。在PASCAL VOC2007测试集上的实验结果表明：所提模型的平均精确度（mAP）为80.8%，较SSD模型提高6.5个百分点，且检测速度满足实时检测的需求。
机器视觉 目标检测模型 特征融合 语义信息 实时性 激光与光电子学进展
2023, 60(2): 0215005
内蒙古大唐国际托克托发电有限责任公司, 呼和浩特 010206
为了提高车间监控系统智能化程度和工作场景中行人检测精度,提出了一种基于计算机视觉技术的行人检测方法。采用基于高级语义信息的无锚框特征检测技术,将检测任务简化为中心点和尺度的回归预测。特征提取模块通过四阶段降采样卷积网络,得到多尺度的图像特征并融合。头探测模块分成两路卷积,并行处理特征图,获得中心点热力图和尺度信息,输出检测结果。结果表明,在CityPersons数据集R子集上,MR-2达到11.61%,加入偏移量预测分支后MR-2提升了0.6%。这证明了该人员检测方法的性能优良。
目标检测 行人检测 计算机视觉技术 无锚框检测 语义信息 object detection pedestrian detection computer vision technique anchor free detection semantic information
1 沈阳理工大学 自动化与电气工程学院，辽宁 沈阳 110159
2 辽宁工程技术大学 电子与信息工程学院，辽宁 葫芦岛 125105
3D点云数据处理在物体分割、医学图像分割和虚拟现实等领域起到了重要作用。然而现有3D点云学习网络全局特征提取范围小，难以描述局部高级语义信息，进而导致点云特征表述不完整。针对这些问题，提出一种基于语义信息补偿全局特征的物体点云分类分割网络。首先，将输入的点云数据对齐到规范空间，进行数据的输入转换预处理。然后，利用扩张边缘卷积模块提取转换后数据的每一层特征，并叠加生成全局特征。而在局部特征提取时，利用提取到的低级语义信息来描述高级语义信息和有效几何特征，用于补偿全局特征中遗漏的点云特征。最后，融合全局特征和局部高级语义信息得到点云的整体特征。实验结果表明，文中方法在分类和分割性能上优于目前经典和新颖的算法。
语义信息 3D模型分类、分割 特征提取 深度学习 semantic information 3D model classification, segmentation feature extraction deep learning 红外与激光工程
2022, 51(8): 20210702
1 沈阳建筑大学 机械工程学院，辽宁 沈阳 110168
2 中国科学院沈阳自动化研究所 光电信息处理重点实验室，辽宁 沈阳 110169
红外与可见光图像融合技术能够同时提供红外图像的热辐射信息和可见光图像的纹理细节信息，在智能监控、目标探测和跟踪等领域具有广泛的应用。两种图像基于不同的成像原理，如何融合各自图像的优点并保证图像不失真是融合技术的关键，传统融合算法只是叠加图像信息而忽略了图像的语义信息。针对该问题，提出了一种改进的生成对抗网络，生成器设计了局部细节特征和全局语义特征两路分支捕获源图像的细节和语义信息；在判别器中引入谱归一化模块，解决传统生成对抗网络不易训练的问题，加速网络收敛；引入了感知损失，保持融合图像与源图像的结构相似性，进一步提升了融合精度。实验结果表明，提出的方法在主观评价与客观指标上均优于其他代表性方法，对比基于全变分模型方法，平均梯度和空间频率分别提升了55.84%和49.95%。
图像融合 生成对抗网络 语义信息 谱归一化 image fusion generative adversarial network semantic information spectral normalization 红外与激光工程
2022, 51(4): 20210291
西安工业大学电子信息工程学院, 陕西 西安 710021
针对图像和视频中多人姿态估计存在人体边界框定位不准确、困难关键点检测精度有待提高等问题,设计了一套基于自顶向下框架的实时多人姿态估计模型。首先将深度可分离卷积加入目标检测算法中,提高人体检测器运行速度;然后基于特征金字塔网络结合上下文语义信息,采用在线难例挖掘算法解决困难关键点检测精度低的问题;最后结合空间变换网络与姿态相似度计算,剔除冗余姿态,改善边界框定位准确性。本文提出模型在2017MS COCO Test-dev数据集上的平均检测精度比Mask R-CNN模型提升了14.84%,比RMPE模型提升了2.43%,帧频达到 22 frame/s。
图像处理 多人姿态估计 空间变换网络 语义信息 姿态距离 激光与光电子学进展
2020, 57(2): 021006
1 北京师范大学地表过程与资源生态国家重点实验室, 北京100875
2 北京师范大学资源学院, 北京100875
3 国土环境与灾害监测国家测绘局重点实验室, 江苏 徐州221116
4 矿山空间信息技术国家测绘局重点实验室, 河南 焦作454010
5 北京师范大学环境演变与自然灾害教育部重点实验室， 北京100875
将概率潜语义分析模型(PLSA)应用于高光谱影像聚类， 提出一种基于语义信息的影像聚类方法。 首先， 利用ISODATA算法获取影像的初次聚类结果， 从而形成PLSA模型中的视觉词； 其次， 利用影像分割算法对高光谱影像进行分割， 并将分割体作为PLSA模型的文档； 再次， 利用多种最佳聚类类别数估计方法确定PLSA模型的潜语义主题的个数； 进而估计PLSA模型的参数， 获得概率主题内视觉词的概率分布和每个分割体中各概率主题的混合比例； 最后利用统计模式识别方法获取每个影像文档中各个视觉词对应的潜语义主题的类型， 从而实现影像的层次聚类分析。 相关实验结果表明， 本文的层次聚类结果较K-MEANS算法、 ISODATA算法聚类结果的面向对象特性更明显， 其与真实地物的空间分布更接近。
概率潜语义分析模型 高光谱影像 层次聚类 语义信息 Probabilistic latent semantic analysis Hyperspectral image Hierarchical clustering Semantic information 光谱学与光谱分析
2011, 31(9): 2471
