1 中国科学院西安光学精密机械研究所光谱成像技术重点实验室，陕西 西安 710119
2 中国科学院大学，北京 100049
遥感场景分类旨在为航空图像指定特定的语义标签，是遥感图像解译中一个基础且重要的任务。现有的研究主要利用卷积神经网络（CNN）学习全局和局部特征，提高网络的判别性表达。然而基于CNN的方法的感受野在建模局部特征的远程依赖性方面存在局限性。近年来，Vision Transformer（ViT）在传统的分类任务中表现出了强大的性能。Transformer的自我注意力机制将每个Patch标记与分类标记连接起来，捕捉图像像素之间的上下文关系，考虑空间域中的全局信息。提出一个基于局部选择ViT的遥感场景分类网络。首先将输入图像分割成小块的Patch，将其展开转换成序列，并进行位置编码添加到序列中；然后将得到的序列输入编码器中；除此之外，为了学习到局部判别特征，在最后一层输入前加入局部选择模块，选择具有判别性的Token作为输入，得到最后用于分类的输出。实验结果表明，所提方法在两个大型遥感场景分类数据集（AID和NWPU）取得不错的效果。
遥感场景分类 深度学习 Vision Transformer 局部特征 激光与光电子学进展
2023, 60(22): 2228005
1 哈尔滨理工大学 测控技术与通信工程学院，黑龙江哈尔滨50080
2 哈尔滨商业大学 计算机与信息工程学院，黑龙江哈尔滨15008
针对遥感图像成像过程中噪声污染严重，超分辨率重建图像存在目标边缘模糊和伪影等问题，本文提出一种融合边缘增强与非局部模块的遥感图像超分辨率算法（Edge-Enhanced and Non-local Modules Generative Adversarial Network，ENGAN）。为了使图像细节边缘更清晰，本文融合一种图像边缘增强模块；同时，为进一步扩大模型感受野和增强去除边缘噪声性能，改进边缘增强模块中的Mask分支；此外，引入非局部模块，通过更好地利用图像的内在特征相关性，进一步提升了网络的重建性能。本文在UCAS-AOD和NWPU VHR-10两种遥感图像数据集上进行多个算法的对比实验，结果表明本文提出的方法在多个评价指标上均有所改善。以退化类型Ⅳ为例，本文方法相比深度盲超分辨率退化模型，4倍超分辨率的SSIM提升了0.068，PSNR提升了1.400 dB，RMSE减少了12.5%，且重建后的遥感图像相较于原始图像可以得到更好的地面目标检测结果。
遥感图像 超分辨率 边缘增强 非局部特征 生成对抗网络 remote sensing image super-resolution edge enhancement non-local features generative adversarial network 光学 精密工程
2023, 31(14): 2080
光学 精密工程
2023, 31(10): 1532
江南大学人工智能与计算机学院模式识别与计算智能工程实验室，江苏 无锡 214122
针对行人重识别场景复杂引起的局部特征不对齐，以及在背景杂乱情况下难以提取出具有不变性行人特征的问题，提出一种基于人体姿态估计算法和相似度矩阵引导的多尺度融合网络。网络引入姿态估计算法构造对齐的行人特征，通过多分支结构将低层局部特征和高层全局特征进行融合提升网络的表征能力；此外特征相似度矩阵将全局特征分割出相似度引导的背景、前景分支，再利用区域级的三元损失函数，提取出对复杂背景鲁棒的行人特征。在Market-1501、DukeMTMC-ReID、CUHK03和MSMT17四个主流数据集上的实验结果表明，本文提出的方法均能达到甚至超过当前主流算法的水平。在最具挑战的MSMT17数据集中，与目前精度领先的算法相比，首次命中精度提高了1.4个百分点，平均精度均值提高了3.4个百分点。
图像处理 行人重识别 局部特征 姿态估计 特征相似度 激光与光电子学进展
2023, 60(6): 0610001
刘耀华 1,1,2,2,3,3,4,">">">*马钺 1,1,2,2,4,4许敏 1,1,2,2,4,4
1 中国科学院沈阳自动化研究所，辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
3 中国科学院大学，北京 100049
4 辽宁省智能检测与装备技术重点实验室，辽宁 沈阳 100179
针对多目标位姿估计过程中点云局部特征存在类间错误匹配的问题，提出了基于点云实例分割的鲁棒多目标位姿估计算法。首先，基于密度聚类对场景点云进行分割得到点云簇，并用快速点特征直方图（FPFH）描述子对分割后的点云簇进行局部特征提取；然后利用随机森林算法对聚合后的点云簇的局部特征进行分类，完成点云实例分割；之后对于场景中每一个分割后的实例，采用近似近邻快速库（FLANN）匹配算法对场景实例和模型进行特征匹配，得到实例分割后的点在对应类别模型上的匹配点，利用随机采样一致（RANSAC）算法以及最小二乘算法计算初始位姿；最后经过点到平面迭代闭合点（ICP）算法得到每个实例的精确位姿。在CV-Lab 3D合成数据集以及UWA真实采集数据集下的实验结果表明，相比直接匹配模型和全部场景点的局部特征进行多目标位姿估计，所提算法能够有效提升局部特征匹配阶段的内点概率，从而提升复杂场景下位姿估计的鲁棒性和准确率，尤其适用于场景中具有多个实例的位姿估计应用。
图像处理 点云 实例分割 位姿估计 局部特征匹配 随机森林 激光与光电子学进展
2023, 60(4): 0410020
1 中国民航大学 航空工程学院, 天津 300300
2 中国民航大学 电子信息与自动化学院, 天津 300300
将三维重建技术应用于医学整形领域, 为医生提供可供参考的术前准备数据是辅助医学的有效手段。当前的三维扫描仪成本高、寿命短、结构尺寸大、维护困难, 不利于该技术在医学整形领域的普及。提出一种基于智能手机摄影测量的人体局部特征三维成像方法, 结合微型投影仪投射散斑图形至待测物体表面, 智能手机采集下调制后的散斑图形, 与事先准备好的散斑模板图形之间, 利用图像局部灰度相关性进行匹配, 实现三维模型重建, 并通过多视角点云拼接技术恢复完整三维模型。提高了重建的效率和便捷性, 以及具有低成本、操作简单的特点。以人体模特局部特征作为待重建表面, 实现了弱纹理连续曲面的三维重建。实验结果表明该方法三维曲面重建平均误差为0.43mm、标准差为0.30mm, 可满足实际测量的需求。
三维重建 智能手机 微型投影仪 人体局部特征 医学整形 three-dimensional reconstruction smart phone mini projector local features of human body medical plastic surgery
1 长春理工大学 光电工程学院，长春
2 吉林省空间光电技术重点实验室，长春
针对传统探测方式对目标探测不到、看不清、图像轮廓和细节模糊等问题，采用红外与偏振探测相结合方式，通过对红外图像信息和偏振图像信息解算，解决在各种环境下探测不到、看不清的问题。针对目标局部特征提取过程数据量大、提取速度慢等问题，提出了一种改进的深度学习偏振图像局部特征提取SIFT算法。实验结果显示，该算法结合偏振成像和深度学习的优势，实现在简单或复杂背景下目标的特征快速提取，该算法对偏振图像局部特征提取速度快、提取精度高。该算法为目标的分类、识别与跟踪技术奠定理论基础。
偏振图像 局部特征 深度学习 尺度不变特征转换（SIFT）算法 神经网络 polarization image local characteristics deep learning scale-invariant feature transform (SIFT) algorithm neural network
1 石家庄铁道大学 交通工程结构力学行为与系统安全国家重点实验室, 石家庄 050043
2 石家庄铁道大学 电气与电子工程学院, 石家庄 050043
3 河北省疾病预防控制中心, 石家庄 050021
为了提高室外场景中车载激光雷达道路不平度信息检测的精度, 采用随机降采样和局部特征聚合的网络结构对道路环境信息进行提取分割。在分割过程中加入随机降采样的方法, 从而提高点云信息的计算效率, 为解决道路环境信息分割过程中关键特征丢失的问题, 加入局部特征聚合器来增加每个3维点云的接受域来保留几何细节。结果表明, 所提出的算法可以准确识别道路环境信息, 对于凸包、凹坑、道路可行驶区域的识别精度分别达到71.87%, 82.71%, 93.01%, 与传统卷积神经网络相比有显著提升。该研究可高效提取道路不平度及道路可行驶区域信息, 从而提高了车辆的主动安全性与平顺性。
激光技术 随机降采样 局部特征聚合 点云 laser technique random down sampling local feature aggregation point cloud
红外与激光工程
2022, 51(5): 20210342
针对深度神经网络PointNet未引入局部特征以及分割精度有待提高的问题,在PointNet的基础上提出一种结合改进K近邻(KNN)算法的局部特征提取方法,将引入局部特征提取方法的神经网络命名为KNN-PointNet。首先将局部区域划分为k个圆形邻域,根据局部区域中样本数据分布密度的差异来确定权值以计算待测点的分类情况;其次将局部邻域特征结合单点全局特征作为输入进行特征提取,通过调节网络深度来提取局部特征以增强局部邻域中点与点的相互关联;最后将改进的KNN算法应用于KNN-PointNet点云分割网络进行实验对比。实验结果表明,相比于当前一些先进的分割网络,采用改进KNN算法的分割网络KNN-PointNet具有更高的分割精度。
图像处理 KNN算法 局部特征 PointNet 密度差异 点云分割 激光与光电子学进展
2021, 58(24): 2410013
