1 宁夏大学 物理与电子电气工程学院,宁夏 银川 750021
2 宁夏沙漠信息智能感知重点实验室,宁夏 银川 750021
针对不同摄像机之间存在显著的类内差异,部分行人如换衣等发生变化均会导致识别下降的问题,提出一种将生成对抗网络(GAN)数据生成和行人再识别学习端对端结合起来的联合学习框架。首先,在DGNet网络的基础上,将生成器与鉴别器中的残差块ResBlock替换为DenseBlock,加强特征传播并且避免梯度消失的问题。然后,生成模块通过切换外观和结构编码,生成高质量的合成图像。最后,在鉴别模块中加入新型注意力机制(NAM),抑制不太显著的权重,更关注所需的目标区域。生成模块生成的图像在线反馈给鉴别模块鉴别图像真假,同时将结果反馈给行人再识别模块进行分类识别(鉴别模块与行人再识别模块是共享的)。在Market-1501、DukeMTMC-reID数据集上的rank-1/mAP分别达到95.7%/88.6%和87.1%/75.7%。
行人再识别 外观编码 结构编码 GAN DenseBlock NAM person re-identification appearance coding structure coding GAN DenseBlock NAM
1 宁夏大学物理与电子电气工程学院,宁夏 银川 750021
2 宁夏大学沙漠信息智能感知重点实验室,宁夏 银川 750021
目前实时定位及地图重建(SLAM)算法中的实时定位技术已趋于稳定,研究视野转向基于点线特征的半稠密SLAM算法。针对此研究方向,提出了一种基于点线特征的SLAM算法。首先,在视觉前端使用基于三斑块与局部灰度差分的oriented fast and rotated brief(ORB)算法提取特征点并匹配。同时使用multiscale line segment detector(MLSD)算法提取线段特征并匹配,使系统在点特征几何变换的基础上加入了线特征的约束条件来计算位姿变换。然后使用点和线约束通过局部bundle adjustment(BA)方法优化位姿。最后进行回环检测来重定位。对所提算法在Euroc数据集上进行了测试,并与同类算法进行了比较。实验结果表明:所建地图相对较为稠密且轮廓清晰、准确度高;同时在V1-02-mdeium、V2-02-mdeium、MH-02-easy、MH-03-medium、MH-04-difficult数据集中均方根误差(RMSE)分别是0.045、0.0561、0.0539、0.0491、0.0623,相对最低。研究结果表明所提算法在同类算法中具有相对较好的建图效果和较高的精度。
图像处理 实时定位及地图重建 稠密地图 线特征 特征匹配 优化 激光与光电子学进展
2022, 59(2): 0210003
1 宁夏大学 物理与电子电气工程学院, 宁夏 银川 750021
2 宁夏沙漠信息智能感知重点实验室, 宁夏 银川 750021
由于摄像机视角造成的类内差异明显, 研究学者开始利用GAN扩充数据保持类内不变性。针对现有GAN生成图像模糊、背景不真实, 本文提出一种利用姿态与外观特征混合编码的行人再识别算法。在训练阶段, 将人物图像分解为姿态特征和外观特征, 生成网络通过切换外观特征与姿态特征, 混合两幅图像中的特征生成高质量图像。判别网络将生成图像的外观特征反馈给生成网络的外观编码器以实现联合优化, 采用多损失联合进一步提高生成图片的质量。在测试阶段, 使用原数据集对网络模型进行测试, 在Market-1501和DukeMTMC-reID数据集上的rank-1/mAP 分别达到93.4%/82.2%、84.3%/70.5%。
行人再识别 深度学习 GAN网络 外观特征 姿态特征 person re-identification deep learning GAN network appearance features attitude features
1 宁夏大学 物理与电子电气工程学院, 宁夏 银川 750021
2 宁夏大学 沙漠信息智能感知重点实验室, 宁夏 银川 750021
结合全局特征和局部特征是提高行人再识别精度的一种途径。现有的算法通常从人体特定的语义区域提取特征, 由于没有将人体结构考虑在内, 增加了学习难度, 在差异较大的场景下效率和鲁棒性较差。为了较好地解决上述问题, 本文提出一种融合了全局特征、局部特征以及人体结构特征的多粒度特征融合的行人再识别算法。本算法不引入任何人体结构先验知识, 在特征提取方面, 采用均值池化和最大池化对特征图加权得到强辨识性的全局特征。对特征图切片得到局部特征, 在原有局部特征的基础上, 引入局部相对特征作为人体结构特征。在度量方面, 采用三元组损失与ID损失在不同尺度下的多级监督机制。在Market1501、DukeMTMC-reID的实验表明, 算法的Rank-1指标相比于部分卷积基线(PCB)方法提升了1.3%、3.9%, 平均精度均值(mAP)提升了5.1%、9.8%。
全局特征 局部特征 人体结构特征 特征融合 深度学习 卷积神经网络 行人再识别 global feature local feature human structural feature feature fusion deep learning convolutional neural network person re-identification
1 宁夏大学物理与电子电气工程学院, 宁夏 银川 750021
2 宁夏大学沙漠信息智能感知重点实验室, 宁夏 银川 750021
行人再识别系统中,检索到的行人图像会出现较大的姿态差异、复杂的视角变化以及检测框中行人图像不对齐等问题,为此,提出一种可以直接使用人体关键点信息进行行人图像对齐,并在此对齐基础上提取多粒度特征的重识别算法。首先使用姿态预估模型定位人体骨架关键点信息,并根据提取的骨架关键点直接进行行人图像对齐,然后对行人图像提取多粒度特征。评估阶段使用姿态信息结合多粒度特征进行相似度匹配。仅使用身份(ID)损失函数在Market1501、CUHK03、DukeMTMC-reID 3个公开数据集上进行实验。结果表明,所提算法具有一定的优势。
机器视觉 深度学习 人体关键点 特征融合 激光与光电子学进展
2019, 56(20): 201501
1 宁夏大学物理与电子电气工程学院, 宁夏 银川 750021
2 宁夏大学宁夏沙漠信息智能感知重点实验室, 宁夏 银川 750021
针对现存行人重识别算法不能较好地适应光照、姿态、遮挡等变化的问题,提出一种基于特征融合与子空间学习的行人重识别算法。该算法对整幅行人图像提取方向梯度(HOG)直方图特征和HSV(Hue,Saturation,Value)直方图特征作为整体特征,再在滑动窗口内提取色彩命名(CN)特征和两个尺度的尺度不变局部三元模式(SILTP)特征。为了使算法具有更好的尺度不变性,对原图像进行两次下采样,再对采样后的图像提取上述特征。提取特征后,采用核函数分别将原始特征空间转换到非线性空间,在非线性空间内学习一个子空间,同时在子空间内学习一个相似性度量函数。在3个公开数据集上进行了实验,结果表明,所提算法可以较好地提高重识别率。
机器视觉 行人重识别 特征融合 子空间 非线性 核函数 激光与光电子学进展
2019, 56(2): 021503