1 东南大学自动化学院,江苏 南京 210096
2 东南大学复杂工程系统测量与控制教育部重点实验室,江苏 南京 210096
3 东南大学深圳研究院,广东 深圳 518063
针对现有人脸活体检测算法在单一数据集内表现良好而在多个数据集间泛化能力较差的问题,提出一种聚焦于真实人脸的活体检测方法。在数据输入阶段,每轮训练会向网络输入所有源域的真实人脸的同时只随机输入其中一个源域的虚假人脸。在特征学习阶段,使用Resnet18网络作为主干网络,对不同残差块的输出特征进行基于注意力机制的加权融合。利用三元组损失和对抗损失对融合后的真实人脸特征进行领域内和领域间的聚合,利用三元组损失对融合后的虚假人脸特征只进行领域内的聚合。在分类阶段,利用交叉熵损失对所有源域的真实人脸和虚假人脸进行分类。所提方法在4个人脸活体检测数据集中进行了实验,实验结果表明所提方法相比其他方法具有更低的识别错误率和更高的鲁棒性。
图像处理 模式识别 人脸活体检测 三元组损失 生成对抗机制 多尺度注意力融合机制 激光与光电子学进展
2023, 60(10): 1010007
宁波大学信息科学与工程学院,浙江 宁波 315211
针对传统云图检索方法难于获得理想的检索精度且检索效率低的问题,提出了一种基于深度度量学习的云图检索方法。首先设计了残差3D-2D卷积神经网络,以提取云图的空间及光谱特征。鉴于传统基于分类的深度网络所提取的特征可能存在类内差异大、类间差异小的问题,采用三元组训练网络,依据云图之间的相似性将云图映射到度量空间中,以使同类云图在嵌入空间中的距离小于非同类云图。在模型训练时,通过对无损三元组损失函数增加正样本对间距离的约束,改善了传统三元组损失的收敛性能,提高了云图检索的精度。在此基础上,通过哈希学习,将度量空间中的云图特征变换成哈希码,在保证检索精度的条件下提高了检索效率。实验结果表明,在东南沿海云图数据集和北半球区域云图数据集上,本文算法的平均精度均值(mean average precision, mAP)分别达到75.14%和80.14%,优于其他对比方法。
深度学习 度量学习 三元组损失 卫星云图检索 deep learning metric learning triplet loss satellite cloud image retrieval
1 安徽大学电气工程与自动化学院,安徽 合肥 230601
2 安徽三联学院电子电气工程学院,安徽 合肥 230601
针对行人重识别存在的遮挡和姿势变化问题和目前网络识别率低的缺陷,提出了不同空间维度的多分支行人重识别网络模型。首先利用IBN-Net50-a为基础骨干网络提取特征;然后对最后两层卷积层融合批量特征丢弃方法,以增强局部区域专注特征学习;最后拼接不同维度的特征,获得更多浅层、深层的有用信息。在网络训练时,采用三元组损失和标签平滑损失联合策略训练。使用三个常用的基准数据集Market1501、DukeMTMC-reID、CUHK03进行实验验证,并按照主流策略划分数据集。实验结果表明,所提方法的特征泛化能力较好,其中在Market1501数据集的Rank-1和平均准确率(mAP)分别达到95.3%和86.8%;在DukeMTMC-reID数据集的Rank-1和mAP分别达到88.5%和75.9%;在CUHK03数据集的Rank-1和mAP分别达到80.9%和77.8%。
机器视觉 行人重识别 特征丢弃 特征学习 三元组损失 标签平滑损失 激光与光电子学进展
2022, 59(12): 1215009
西安工业大学电子信息工程学院, 陕西 西安 710021
针对SiamRPN(Siamese Region Proposal Network)在目标被短时遮挡以及外观剧烈变化的情况下存在定位不准确的问题,提出一种结合目标跟踪缓冲区与三元组损失的目标跟踪算法。该算法首先将原有的固定模板改为动态模板,提升复杂环境下相似度判别的可靠性;然后在模板缓冲区稀疏地缓存目标外观以应对跟踪过程中非语义样本的干扰,增强目标跟踪的鲁棒性;最后应用三元组损失以充分利用目标的正负样本特征,使跟踪更加具有判别能力。使用OTB100数据集进行实验,结果表明所提算法的成功率曲线下面积较SiamRPN提高了0.021,平均中心位置误差降低了25.56 pixel,平均重叠率提高了25.2%。
机器视觉 孪生网络 区域提议网络 缓冲区 三元组损失 激光与光电子学进展
2021, 58(20): 2015002
红外与激光工程
2021, 50(5): 20200364
南京信息工程大学自动化学院, 江苏 南京 210044
针对传统神经网络无法对相似度较高的中式菜品进行有效分类的问题,提出了一种基于改进残差网络的中式菜品识别 RNA-TL (ResNet with Attention and Triplet Loss) 模型。该算法先融合多尺度特征以提取深层次图像的语义信息,然后增加一层注意力机制层,给予图像重要部分更多的关注,最后利用三元组损失(Triplet Loss, TL)计算类间相似度并将结果输入到支持向量机(Support Vector Machine, SVM)中进行分类。实验表明,相较于其他主流算法模型,RNA-TL模型在中式菜品公共数据集上以及课题组采集的数据集上的识别准确率表现出更优越的性能。
图像处理 中式菜品识别 三元组损失 卷积神经网络 注意力机制 激光与光电子学进展
2021, 58(6): 0610019
1 兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
2 甘肃省人工智能与图形图像处理工程研究中心, 甘肃 兰州730070
3 兰州交通大学计算机科学与技术国家级实验教学示范中心, 甘肃 兰州 730070
针对行人重识别中行人检测误差引起的空间错位,基于局部的深度网络模型仅学习相邻局部关系,导致远距离局部相关性缺失,因此,提出了一种结合一阶和二阶空间信息的行人重识别算法。在主干网络上,学习一阶空间掩模对输入图像的空间权值进行微调,以减少背景干扰;通过二阶空间掩模对远距离的依赖关系进行建模,并将局部特征集成到依赖模型中,以获取全局特征表示。局部分支引入DropBlock对抽取的行人特征进行正则化,避免了网络模型过于依赖特定部位特征。训练阶段用标签平滑分类损失和引入正样本中心的三元组损失联合优化整个网络。在Market-1501和DukeMTMC-reID数据集上的实验结果表明,相比其他主流算法,本算法的行人重识别精度更高,且提取的行人特征判别性和鲁棒性更好。
机器视觉 行人重识别 一阶空间掩模 二阶空间掩模 中心三元组损失 激光与光电子学进展
2021, 58(2): 0215005
天津大学电气自动化与信息工程学院, 天津 300072
基于全局特征的行人重识别算法主要使用交叉熵损失函数和三元组损失函数来监督网络的学习。然而,原始三元组损失函数在增大类间距离的同时并未很好地优化类内距离,为了解决这个问题,提出一种基于全局特征的行人重识别改进算法。该算法是在三元组损失函数的基础上进行改进,即在原始三元组损失函数中引入一项类内距离,使改进后的三元组损失函数能够在增大类间距离的同时减小类内距离。在Market1501、DukeMTMC-reID和CUHK03数据集上进行大量实验,实验结果表明所提算法得到的特征具有更强的判别性,在基于全局特征的模型中可以取得最优的性能,接近甚至超过一些基于局部特征的模型。
机器视觉 光计算 行人重识别 全局特征 三元组损失 激光与光电子学进展
2020, 57(24): 241503