作者单位
摘要
宁夏大学 物理与电子电气工程学院,宁夏 银川 750021
针对文本生成图像任务中的文本编码器不能深度挖掘文本信息,导致后续生成的图像存在语义不一致的问题,本文提出了一种改进DMGAN模型的文本生成图像方法。首先使用XLnet的预训练模型对文本进行编码,该模型在大规模语料库的预训练之下能够捕获大量文本的先验知识,实现对上下文信息的深度挖掘;然后在DMGAN模型生成图像的初始阶段和图像细化阶段均加入通道注意力模块,突出重要的特征通道,进一步提升生成图像的语义一致性和空间布局合理性,以及模型的收敛速度和稳定性。实验结果表明,所提出模型在CUB数据集上生成的图像相比原DMGAN模型,IS指标提升了0.47,FID指标降低了2.78,充分说明该模型具有更好的跨模态生成能力。
文本生成图像 XLnet模型 生成对抗网络 通道注意力 text-to-image XLnet model generate adversarial networks attention of channel 
液晶与显示
2024, 39(2): 168
张玉霞 1,2车进 1,2,*贺愉婷 1,2
作者单位
摘要
1 宁夏大学 物理与电子电气工程学院,宁夏 银川 750021
2 宁夏沙漠信息智能感知重点实验室,宁夏 银川 750021
针对不同摄像机之间存在显著的类内差异,部分行人如换衣等发生变化均会导致识别下降的问题,提出一种将生成对抗网络(GAN)数据生成和行人再识别学习端对端结合起来的联合学习框架。首先,在DGNet网络的基础上,将生成器与鉴别器中的残差块ResBlock替换为DenseBlock,加强特征传播并且避免梯度消失的问题。然后,生成模块通过切换外观和结构编码,生成高质量的合成图像。最后,在鉴别模块中加入新型注意力机制(NAM),抑制不太显著的权重,更关注所需的目标区域。生成模块生成的图像在线反馈给鉴别模块鉴别图像真假,同时将结果反馈给行人再识别模块进行分类识别(鉴别模块与行人再识别模块是共享的)。在Market-1501、DukeMTMC-reID数据集上的rank-1/mAP分别达到95.7%/88.6%和87.1%/75.7%。
行人再识别 外观编码 结构编码 GAN DenseBlock NAM person re-identification appearance coding structure coding GAN DenseBlock NAM 
液晶与显示
2022, 37(10): 1364
贺愉婷 1,2车进 1,2,*吴金蔓 1,2
作者单位
摘要
1 宁夏大学 物理与电子电气工程学院,宁夏 银川 750021
2 宁夏沙漠信息智能感知重点实验室,宁夏 银川 750021
针对目前遵循基于检测的多目标跟踪范式存在的不足,本文以DeepSort为基础算法展开研究,以解决跟踪过程中因遮挡导致的目标ID频繁切换的问题。首先改进外观模型,将原始的宽残差网络更换为ResNeXt网络,在主干网络上引入卷积注意力机制,构造新的行人重识别网络,使模型更关注目标关键信息,提取更有效的特征;然后采用YOLOv5作为检测算法,加入检测层使得模型适应不同尺寸的目标,并在主干网络加入坐标注意力机制,进一步提升检测模型精度。在MOT16数据集上进行多目标跟踪实验,多目标跟踪准确率达到66.2%,多目标跟踪精确率达到80.8%,并满足实时跟踪的要求。
多目标跟踪 行人重识别 YOLOv5 注意力机制 深度学习 multi-target tracking person re-identification YOLOv5 network attention mechanism deep learning 
液晶与显示
2022, 37(7): 880
李运舵 1,2车进 1,2,*薛澄 1,2
作者单位
摘要
1 宁夏大学物理与电子电气工程学院,宁夏 银川 750021
2 宁夏大学沙漠信息智能感知重点实验室,宁夏 银川 750021
目前实时定位及地图重建(SLAM)算法中的实时定位技术已趋于稳定,研究视野转向基于点线特征的半稠密SLAM算法。针对此研究方向,提出了一种基于点线特征的SLAM算法。首先,在视觉前端使用基于三斑块与局部灰度差分的oriented fast and rotated brief(ORB)算法提取特征点并匹配。同时使用multiscale line segment detector(MLSD)算法提取线段特征并匹配,使系统在点特征几何变换的基础上加入了线特征的约束条件来计算位姿变换。然后使用点和线约束通过局部bundle adjustment(BA)方法优化位姿。最后进行回环检测来重定位。对所提算法在Euroc数据集上进行了测试,并与同类算法进行了比较。实验结果表明:所建地图相对较为稠密且轮廓清晰、准确度高;同时在V1-02-mdeium、V2-02-mdeium、MH-02-easy、MH-03-medium、MH-04-difficult数据集中均方根误差(RMSE)分别是0.045、0.0561、0.0539、0.0491、0.0623,相对最低。研究结果表明所提算法在同类算法中具有相对较好的建图效果和较高的精度。
图像处理 实时定位及地图重建 稠密地图 线特征 特征匹配 优化 
激光与光电子学进展
2022, 59(2): 0210003
杨琦 1,2车进 1,2张良 1,2张玉霞 1,2
作者单位
摘要
1 宁夏大学 物理与电子电气工程学院, 宁夏 银川 750021
2 宁夏沙漠信息智能感知重点实验室, 宁夏 银川 750021
由于摄像机视角造成的类内差异明显, 研究学者开始利用GAN扩充数据保持类内不变性。针对现有GAN生成图像模糊、背景不真实, 本文提出一种利用姿态与外观特征混合编码的行人再识别算法。在训练阶段, 将人物图像分解为姿态特征和外观特征, 生成网络通过切换外观特征与姿态特征, 混合两幅图像中的特征生成高质量图像。判别网络将生成图像的外观特征反馈给生成网络的外观编码器以实现联合优化, 采用多损失联合进一步提高生成图片的质量。在测试阶段, 使用原数据集对网络模型进行测试, 在Market-1501和DukeMTMC-reID数据集上的rank-1/mAP 分别达到93.4%/82.2%、84.3%/70.5%。
行人再识别 深度学习 GAN网络 外观特征 姿态特征 person re-identification deep learning GAN network appearance features attitude features 
液晶与显示
2021, 36(2): 334
张良 1,2车进 1,2杨琦 1,2
作者单位
摘要
1 宁夏大学 物理与电子电气工程学院, 宁夏 银川 750021
2 宁夏大学 沙漠信息智能感知重点实验室, 宁夏 银川 750021
结合全局特征和局部特征是提高行人再识别精度的一种途径。现有的算法通常从人体特定的语义区域提取特征, 由于没有将人体结构考虑在内, 增加了学习难度, 在差异较大的场景下效率和鲁棒性较差。为了较好地解决上述问题, 本文提出一种融合了全局特征、局部特征以及人体结构特征的多粒度特征融合的行人再识别算法。本算法不引入任何人体结构先验知识, 在特征提取方面, 采用均值池化和最大池化对特征图加权得到强辨识性的全局特征。对特征图切片得到局部特征, 在原有局部特征的基础上, 引入局部相对特征作为人体结构特征。在度量方面, 采用三元组损失与ID损失在不同尺度下的多级监督机制。在Market1501、DukeMTMC-reID的实验表明, 算法的Rank-1指标相比于部分卷积基线(PCB)方法提升了1.3%、3.9%, 平均精度均值(mAP)提升了5.1%、9.8%。
全局特征 局部特征 人体结构特征 特征融合 深度学习 卷积神经网络 行人再识别 global feature local feature human structural feature feature fusion deep learning convolutional neural network person re-identification 
液晶与显示
2020, 35(6): 555
张良 1,2车进 1,2,*
作者单位
摘要
1 宁夏大学物理与电子电气工程学院, 宁夏 银川 750021
2 宁夏大学沙漠信息智能感知重点实验室, 宁夏 银川 750021
行人再识别系统中,检索到的行人图像会出现较大的姿态差异、复杂的视角变化以及检测框中行人图像不对齐等问题,为此,提出一种可以直接使用人体关键点信息进行行人图像对齐,并在此对齐基础上提取多粒度特征的重识别算法。首先使用姿态预估模型定位人体骨架关键点信息,并根据提取的骨架关键点直接进行行人图像对齐,然后对行人图像提取多粒度特征。评估阶段使用姿态信息结合多粒度特征进行相似度匹配。仅使用身份(ID)损失函数在Market1501、CUHK03、DukeMTMC-reID 3个公开数据集上进行实验。结果表明,所提算法具有一定的优势。
机器视觉 深度学习 人体关键点 特征融合 
激光与光电子学进展
2019, 56(20): 201501
朱小波 1,2车进 1,2,*
作者单位
摘要
1 宁夏大学物理与电子电气工程学院, 宁夏 银川 750021
2 宁夏大学宁夏沙漠信息智能感知重点实验室, 宁夏 银川 750021
针对现存行人重识别算法不能较好地适应光照、姿态、遮挡等变化的问题,提出一种基于特征融合与子空间学习的行人重识别算法。该算法对整幅行人图像提取方向梯度(HOG)直方图特征和HSV(Hue,Saturation,Value)直方图特征作为整体特征,再在滑动窗口内提取色彩命名(CN)特征和两个尺度的尺度不变局部三元模式(SILTP)特征。为了使算法具有更好的尺度不变性,对原图像进行两次下采样,再对采样后的图像提取上述特征。提取特征后,采用核函数分别将原始特征空间转换到非线性空间,在非线性空间内学习一个子空间,同时在子空间内学习一个相似性度量函数。在3个公开数据集上进行了实验,结果表明,所提算法可以较好地提高重识别率。
机器视觉 行人重识别 特征融合 子空间 非线性 核函数 
激光与光电子学进展
2019, 56(2): 021503

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!