作者单位
摘要
1 辽宁工程技术大学 软件学院,辽宁 葫芦岛 125105
2 汕头职业技术学院 计算机系,广东 汕头 515071
现有的层级式文本生成图像的方法在初始图像生成阶段仅使用上采样进行特征提取,上采样过程本质是卷积运算,卷积运算的局限性会造成全局信息被忽略并且远程语义无法交互。虽然已经有方法在模型中加入自注意力机制,但依然存在图像细节缺失、图像结构性错误等问题。针对上述存在的问题,提出一种基于自监督注意和图像特征融合的生成对抗网络模型SAF-GAN。将基于ContNet的自监督模块加入到初始特征生成阶段,利用注意机制进行图像特征之间的自主映射学习,通过特征的上下文关系引导动态注意矩阵,实现上下文挖掘和自注意学习的高度结合,提高低分辨率图像特征的生成效果,后续通过不同阶段网络的交替训练实现高分辨率图像的细化生成。同时加入了特征融合增强模块,通过将模型上一阶段的低分辨率特征与当前阶段的特征进行融合,生成网络可以充分利用低层特征的高语义信息和高层特征的高分辨率信息,更加保证了不同分辨率特征图的语义一致性,从而实现高分辨率的逼真的图像生成。实验结果表明,相较于基准模型(AttnGAN),SAF-GAN模型在IS和FID指标上均有改善,在CUB数据集上的IS分数提升了0.31,FID指标降低了3.45;在COCO数据集上的IS分数提升了2.68,FID指标降低了5.18。SAF-GAN模型能够有效生成更加真实的图像,证明了该方法的有效性。
计算机视觉 生成对抗网络 文本生成图像 CotNet 图像特征融合 computer vision generative adversarial networks text-to-image cotnet image feature fusion 
液晶与显示
2024, 39(2): 180
作者单位
摘要
1 辽宁工程技术大学电子与信息工程学院,辽宁 葫芦岛 125105
2 沈阳理工大学自动化与电气工程学院,辽宁 沈阳 110159
深度学习 特征融合 太阳能电池 缺陷分类 缺陷检测 deep learning feature fusion solar cells defect classification defect detection 
光电工程
2024, 51(1): 230292
光电工程
2024, 51(1): 230276
作者单位
摘要
西安邮电大学 通信与信息工程学院,陕西西安710121
针对无人机视角下航拍图像小目标多且检测困难的问题,提出了一个位置敏感Transformer目标检测(PS-TOD)模型。设计了一个基于位置通道嵌入三维注意力(PCE3DA)的多尺度特征融合(MSFF)模块,即PCE3DA利用空间与通道信息的相互依赖关系生成三维注意力,用于加强模型对兴趣区域的特征表达能力,且基于它构造了一个自底向上的跨层MSFF方案,使得融合后的特征语义信息更加丰富;然后,设计了一种新的位置敏感自注意力(PSSA)机制,且以此构造位置敏感Transformer编-解码器,使模型在捕获图像全局上下文信息的长期依赖关系时,也可提高模型对目标的位置敏感能力。基于无人机航拍数据集VisDrone的对比实验结果表明,提出模型的AP达到28.8%,与基线模型(DETR)相比提高了4.1%。该模型在复杂背景下能对无人机航拍图像进行精确的目标检测,且改善小目标的检测效果。
目标检测 无人机图像 位置敏感Transformer 多尺度特征融合 注意力机制 object detection unmanned aerial vehicle image position sensitive Transformer multi-scale feature fusion attention mechanism 
光学 精密工程
2024, 32(5): 727
作者单位
摘要
中国人民解放军63870部队,陕西渭南714299
在可见光红外跟踪(RGB and Thermal Infrared Tracking,RGB-T)的研究中,为了在常规跟踪算法的基础上实现两个模态的有效融合,基于注意力机制提出了一种基于注意力交互的RGB-T跟踪算法。该算法引入注意力机制对可见光和红外两种模态的图像特征进行增强和融合,设计了自特征增强编码器对单一模态的特征进行增强,设计了互特征解码器对两个模态增强后的特征进行交互融合。编码器和解码器均采用两层注意力模块。为了减小算法模型的复杂度,对传统注意力模块进行简化,将全连接层改为1×1卷积。此外,该算法对多个卷积层的特征均进行分层融合,以充分挖掘各层卷积特征中的细节和语义信息。在GTOT,RGBT234和LasHeR三个数据集上进行对比测试。实验结果表明,所提算法性能优异,特别是在RGBT234和LasHeR这两个大规模数据集上取得了最优的跟踪结果,验证了注意力机制在RGB-T跟踪中的有效性。
可见光红外跟踪 注意力机制 多模态特征融合 特征增强 RGB-T tracking attention mechanism feature fuse of multi-modality feature enhancement 
光学 精密工程
2024, 32(3): 435
作者单位
摘要
昆明理工大学 机电工程学院,云南昆明650500
初烤烟叶等级的快速准确检测对开发烟叶智能分级设备以促进农产品精细化管理有着重要意义。针对相似度较高但等级不同的初烤烟叶难以区分的问题,本文提出多感受野特征自适应融合及动态损失调整的初烤烟叶等级检测网络(Flue-cured Tobacco Leaf Grade Detection Network,FTGDNet)。首先,FTGDNet采用CSPNet作为特征提取主干网络,采用GhostNet作为辅助特征提取网络以增强模型的特征提取能力;其次,在主干网络末端嵌入显式视觉中心瓶颈模块(Explicit Visual Center Bottleneck module,EVCB)以实现全局特征信息与局部细节特征信息融合;然后,构建多感受野特征自适应融合模块(Multi-Receptive Field Feature Adaptive Fusion module,MRFA_d),利用注意力特征融合机制(Attention Feature Fusion,AFF)将不同感受野特征图进行自适应加权融合,在增强模型局部感受野的同时突出有效通道信息;最后,设计了一种新的定位损失函数(More Complete IoU Loss,MCIoU_Loss),结合预测框与真实框面积损失以解决在回归定位过程中二者宽高比相等且中心点重合时CIoU_Loss性能退化导致定位精度下降问题,此外,引入矩形相似度衰减系数在训练过程中对真实框与预测框的相似度判别项进行动态调整,加快模型拟合。实验结果表明,FTGDNet对十个等级的初烤烟叶的验证精度达到90.0%,测试精度达到87.4%,且推理时间仅为12.6 ms。相较于多种先进目标检测算法,FTGDNet具有更高的检测精度和更快的检测速度,可为高精度初烤烟叶等级检测提供关键技术支撑。
初烤烟叶 目标检测 多感受野特征融合 动态损失调整 flue-cured tobacco leaf object detection multi receptive field feature fusion dynamic loss adjustment 
光学 精密工程
2024, 32(2): 301
作者单位
摘要
长春理工大学电子信息工程学院,吉林 长春 130012
针对彩色图像引导的深度图像超分辨率重建算法中存在的纹理转移和深度流失的问题,提出一种基于双特征融合引导的深度图像超分辨率重建网络(DF-Net)。为了充分利用深度和强度特征的关联性,在网络模型的深度恢复重建部分采用双通道融合模块(DCM)和双特征引导重建模块(DGM)。利用输入金字塔结构提取深度信息和强度信息的多尺度特征:DCM基于通道注意力机制对深度特征和强度特征进行通道间的特征融合与增强;DGM将深度、强度特征自适应选择融合后实现重建的双特征引导,增加了深度特征的引导作用,改善了纹理转移和深度流失的问题。实验结果表明,所提方法的峰值信噪比(PSNR)和均方根误差(RMSE)优于RMRF、JBU和Depth-Net等方法,尤其4×超分辨率重建结果的PSNR值比其他方法平均提升6.79 dB,RMSE平均下降0.94,取得了较好的深度图像超分辨率重建效果。
图像处理 图像超分辨率重建 卷积神经网络 深度图像 特征融合 通道注意力 
激光与光电子学进展
2024, 61(8): 0837007
李明岩 1,2吴川 1,2,*朱明 1,2
作者单位
摘要
1 中国科学院 长春光学精密机械与物理研究所,吉林 长春 130033
2 中国科学院大学,北京 100049
伪装目标分割的任务是使用像素级分割掩码将与背景高度相似的目标进行准确分类和定位,与传统的目标分割任务相比更具挑战性。针对目标与周围环境高度相似、边界模糊、对比度低等问题,构建了一种基于边缘增强和特征融合的伪装目标分割方法。首先,设计了一组边缘提取模块,能够更准确地分割有效的边缘先验。之后,引入了多尺度特征增强模块和跨层级特征聚合模块,分别挖掘层内与层间的多尺度上下文信息。提出了一种简单的层间注意力模块,利用相邻层级间的差异有效滤除融合后存在的干扰信息。最后,通过将各级特征图与边缘先验逐级结合的方式,获得准确的预测结果。实验结果表明,在4个伪装目标基准数据集上,该模型的表现都优于其他算法。其中加权F值提升了2.4%,平均绝对误差减少了7.2%,在RTX 2080Ti硬件环境下分割速度达到了44.2 FPS。与现有方法相比,该算法能够更准确地分割伪装目标。
深度学习 伪装目标 图像分割 边缘特征 特征融合 deep learning camouflaged object image segmentation edge feature feature fusion 
液晶与显示
2024, 39(1): 48
作者单位
摘要
天津大学精密仪器与光电子工程学院光电信息技术教育部重点实验室,天津 300072
图像匹配能将待匹配图像变换到原有图像的坐标系中,在各种视觉任务中起着重要的作用。基于特征的图像匹配算法能够在图像中匹配到一些更具区分度的特征,与其他图像匹配方法相比,其具有高精度、高灵活性、高鲁棒性等特点。针对传统特征匹配算法匹配稀疏的问题,提出一种基于改进深度特征匹配算法的密集特征匹配方法。首先,通过VGG网络提取图像的一系列特征图,在初始特征图进行最邻近匹配计算单应性矩阵并进行视角变换;然后,基于特征图的频域匹配特点进行深层特征图融合,用于特征粗匹配;最后,基于粗匹配的结果在浅层特征图上进行特征细匹配用于校正特征匹配的结果。实验结果表明:所提算法提升了特征匹配的精度和匹配的特征数量。
机器视觉 卷积神经网络 特征融合 图像匹配 图像处理 
激光与光电子学进展
2024, 61(8): 0815001
作者单位
摘要
1 河北工业大学人工智能与数据科学学院,天津 300130
2 河北省控制工程技术研究中心,天津 300130
针对光伏(PV)电池缺陷检测中存在的数据不均衡、缺陷尺度不一和背景纹理复杂多变等因素导致的误检、漏检问题,提出一种基于YOLOv8的缺陷检测算法YOLOv8-EL。首先,使用GauGAN进行数据增强,处理数据集的类内和类间不均衡的问题,提高模型泛化能力,降低模型过拟合的风险;其次,在主干网络和特征融合网络之间嵌入上下文聚合模块,自适应地融合不同层次的语义信息,对齐局部特征,减少微小微弱缺陷信息的丢失,抑制无关背景信息的干扰;最后,构建多注意力检测头以替换解耦头,引入不同的注意力机制细化分类和定位任务,提取空间和通道层面上的关键信息,减少特征混淆。实验结果表明,该模型在扩充后的PV电池EL数据集上的平均精度达到89.90%,模型参数量为13.13×106,在提升精度的基础上兼顾了后续部署时轻量化的要求。在PASCAL VOC数据集上进行泛化性实验,证明了改进算法的泛化性能。
缺陷检测 YOLOv8 生成对抗网络 特征融合 注意力机制 解耦头 
激光与光电子学进展
2024, 61(8): 0812008

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!