1 中国科学院西安光学精密机械研究所光谱成像技术重点实验室，陕西 西安 710119
2 中国科学院大学，北京 100049
遥感场景分类旨在为航空图像指定特定的语义标签，是遥感图像解译中一个基础且重要的任务。现有的研究主要利用卷积神经网络（CNN）学习全局和局部特征，提高网络的判别性表达。然而基于CNN的方法的感受野在建模局部特征的远程依赖性方面存在局限性。近年来，Vision Transformer（ViT）在传统的分类任务中表现出了强大的性能。Transformer的自我注意力机制将每个Patch标记与分类标记连接起来，捕捉图像像素之间的上下文关系，考虑空间域中的全局信息。提出一个基于局部选择ViT的遥感场景分类网络。首先将输入图像分割成小块的Patch，将其展开转换成序列，并进行位置编码添加到序列中；然后将得到的序列输入编码器中；除此之外，为了学习到局部判别特征，在最后一层输入前加入局部选择模块，选择具有判别性的Token作为输入，得到最后用于分类的输出。实验结果表明，所提方法在两个大型遥感场景分类数据集（AID和NWPU）取得不错的效果。
遥感场景分类 深度学习 Vision Transformer 局部特征 激光与光电子学进展
2023, 60(22): 2228005
江南大学人工智能与计算机学院模式识别与计算智能工程实验室，江苏 无锡 214122
针对行人重识别场景复杂引起的局部特征不对齐，以及在背景杂乱情况下难以提取出具有不变性行人特征的问题，提出一种基于人体姿态估计算法和相似度矩阵引导的多尺度融合网络。网络引入姿态估计算法构造对齐的行人特征，通过多分支结构将低层局部特征和高层全局特征进行融合提升网络的表征能力；此外特征相似度矩阵将全局特征分割出相似度引导的背景、前景分支，再利用区域级的三元损失函数，提取出对复杂背景鲁棒的行人特征。在Market-1501、DukeMTMC-ReID、CUHK03和MSMT17四个主流数据集上的实验结果表明，本文提出的方法均能达到甚至超过当前主流算法的水平。在最具挑战的MSMT17数据集中，与目前精度领先的算法相比，首次命中精度提高了1.4个百分点，平均精度均值提高了3.4个百分点。
图像处理 行人重识别 局部特征 姿态估计 特征相似度 激光与光电子学进展
2023, 60(6): 0610001
刘耀华 1,1,2,2,3,3,4,">">">*马钺 1,1,2,2,4,4许敏 1,1,2,2,4,4
1 中国科学院沈阳自动化研究所，辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
3 中国科学院大学，北京 100049
4 辽宁省智能检测与装备技术重点实验室，辽宁 沈阳 100179
针对多目标位姿估计过程中点云局部特征存在类间错误匹配的问题，提出了基于点云实例分割的鲁棒多目标位姿估计算法。首先，基于密度聚类对场景点云进行分割得到点云簇，并用快速点特征直方图（FPFH）描述子对分割后的点云簇进行局部特征提取；然后利用随机森林算法对聚合后的点云簇的局部特征进行分类，完成点云实例分割；之后对于场景中每一个分割后的实例，采用近似近邻快速库（FLANN）匹配算法对场景实例和模型进行特征匹配，得到实例分割后的点在对应类别模型上的匹配点，利用随机采样一致（RANSAC）算法以及最小二乘算法计算初始位姿；最后经过点到平面迭代闭合点（ICP）算法得到每个实例的精确位姿。在CV-Lab 3D合成数据集以及UWA真实采集数据集下的实验结果表明，相比直接匹配模型和全部场景点的局部特征进行多目标位姿估计，所提算法能够有效提升局部特征匹配阶段的内点概率，从而提升复杂场景下位姿估计的鲁棒性和准确率，尤其适用于场景中具有多个实例的位姿估计应用。
图像处理 点云 实例分割 位姿估计 局部特征匹配 随机森林 激光与光电子学进展
2023, 60(4): 0410020
1 石家庄铁道大学 交通工程结构力学行为与系统安全国家重点实验室, 石家庄 050043
2 石家庄铁道大学 电气与电子工程学院, 石家庄 050043
3 河北省疾病预防控制中心, 石家庄 050021
为了提高室外场景中车载激光雷达道路不平度信息检测的精度, 采用随机降采样和局部特征聚合的网络结构对道路环境信息进行提取分割。在分割过程中加入随机降采样的方法, 从而提高点云信息的计算效率, 为解决道路环境信息分割过程中关键特征丢失的问题, 加入局部特征聚合器来增加每个3维点云的接受域来保留几何细节。结果表明, 所提出的算法可以准确识别道路环境信息, 对于凸包、凹坑、道路可行驶区域的识别精度分别达到71.87%, 82.71%, 93.01%, 与传统卷积神经网络相比有显著提升。该研究可高效提取道路不平度及道路可行驶区域信息, 从而提高了车辆的主动安全性与平顺性。
激光技术 随机降采样 局部特征聚合 点云 laser technique random down sampling local feature aggregation point cloud
1 宁夏大学 物理与电子电气工程学院, 宁夏 银川 750021
2 宁夏大学 沙漠信息智能感知重点实验室, 宁夏 银川 750021
结合全局特征和局部特征是提高行人再识别精度的一种途径。现有的算法通常从人体特定的语义区域提取特征, 由于没有将人体结构考虑在内, 增加了学习难度, 在差异较大的场景下效率和鲁棒性较差。为了较好地解决上述问题, 本文提出一种融合了全局特征、局部特征以及人体结构特征的多粒度特征融合的行人再识别算法。本算法不引入任何人体结构先验知识, 在特征提取方面, 采用均值池化和最大池化对特征图加权得到强辨识性的全局特征。对特征图切片得到局部特征, 在原有局部特征的基础上, 引入局部相对特征作为人体结构特征。在度量方面, 采用三元组损失与ID损失在不同尺度下的多级监督机制。在Market1501、DukeMTMC-reID的实验表明, 算法的Rank-1指标相比于部分卷积基线(PCB)方法提升了1.3%、3.9%, 平均精度均值(mAP)提升了5.1%、9.8%。
全局特征 局部特征 人体结构特征 特征融合 深度学习 卷积神经网络 行人再识别 global feature local feature human structural feature feature fusion deep learning convolutional neural network person re-identification
江南大学物联网工程学院江苏省模式识别与计算智能工程实验室, 江苏 无锡 214122
针对基于深度学习的传统方法对于次显著细节信息关注不足的问题,提出一种基于多尺度注意力机制的多分支网络来统筹图像的显著信息及次显著信息。首先,将多尺度特征融合方法(MSFF)与注意力机制相结合,设计了一个多尺度注意力模块(MSA),使得网络可以根据输入信息自适应地调节感受野大小,实现了对于不同尺度信息的充分利用。其次,建立一个多分支网络,实现对于全局特征和多元局部特征的协调统一,并利用多尺度注意力模块,分别实现对于全局显著信息及次显著局部细节信息的加权强化,得到更具判别性的特征用于最终的识别。实验结果表明,本文所设计的网络在多个数据集上都取得了较好的表现。
图像处理 深度学习 行人重识别 注意力机制 多尺度特征 局部特征 激光与光电子学进展
2020, 57(20): 201001
1 中国人民解放军国防科技大学电子科学学院, 湖南 长沙 410073
2 中国人民解放军国防科技大学气象海洋学院, 湖南 长沙 410073
为了高效提取激光雷达点云数据的局部几何结构特征,实现三维(3D)目标的配准、检测和识别,提出了一种基于分层墨卡托投影(HMec)的局部点云特征描述子。首先,采用传统方法进行特征提取;然后,利用具有保角特性的墨卡托投影,将3D点云数据的局部邻域点分层投影到多个墨卡托平面上;最后,分别统计各墨卡托平面的分布直方图,得到特征点的局部特征描述子。HMec特征描述子能很好地保留点云的局部几何结构特征,从而提高特征描述子的辨别力。在Bologna和3DMatch数据集上的测试结果表明,相比其他9种局部特征描述子,HMec特征描述子的辨别力更强、噪声鲁棒性更好。
激光雷达 点云 三维数据 局部特征 墨卡托投影 分层投影 光学学报
2020, 40(20): 2015001
Author Affiliations
Abstract
1 State Key Laboratory of Pulsed Power Laser Technology, National University of Defense Technology, Hefei 230037, China
2 Anhui Provincial Key Laboratory of Electronic Restriction, National University of Defense Technology, Hefei 230037, China
3 The Military Representative Bureau of the Ministry of Equipment Development, Central Military Commission in Beijing, Beijing 100191, China
To fully describe the structure information of the point cloud when the LIDAR-object distance is long, a joint global and local feature (JGLF) descriptor is constructed. Compared with five typical descriptors, the object recognition rate of JGLF is higher when the LIDAR-object distances change. Under the situation that airborne LIDAR is getting close to the object, the particle filtering (PF) algorithm is used as the tracking frame. Particle weight is updated by comparing the difference between JGLFs to track the object. It is verified that the proposed algorithm performs 13.95% more accurately and stably than the basic PF algorithm.
object tracking LIDAR global and local feature descriptor point cloud Chinese Optics Letters
2020, 18(6): 061001
兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
为了进一步提高大规模多种类点云模型识别与分类的准确率,提出了一种K近邻卷积神经网络模型。首先,利用最远点采样算法对点云模型均匀采样;其次,对采样后的点云模型用K近邻算法构建每个点的局部邻域,为防止信息的非局部扩散,对卷积层提取的特征也逐个建立局部邻域;然后,通过最大池化聚合所有局部特征得到点云模型的全局特征表示;最后,用全连接层与Softmax函数计算各类别对应的概率并分类。实验结果表明,本算法在公开数据集ModelNet40上的识别准确率为92%。与已有的点云模型识别与分类算法相比,能更有效地融合局部结构特征,提高点云模型识别与分类的准确率。
机器视觉 模型识别 K近邻 局部特征 缩放指数线性单元函数 激光与光电子学进展
2020, 57(10): 101510
