1 辽宁工程技术大学 软件学院，辽宁 葫芦岛 125105
2 汕头职业技术学院 计算机系，广东 汕头 515071
现有的层级式文本生成图像的方法在初始图像生成阶段仅使用上采样进行特征提取，上采样过程本质是卷积运算，卷积运算的局限性会造成全局信息被忽略并且远程语义无法交互。虽然已经有方法在模型中加入自注意力机制，但依然存在图像细节缺失、图像结构性错误等问题。针对上述存在的问题，提出一种基于自监督注意和图像特征融合的生成对抗网络模型SAF-GAN。将基于ContNet的自监督模块加入到初始特征生成阶段，利用注意机制进行图像特征之间的自主映射学习，通过特征的上下文关系引导动态注意矩阵，实现上下文挖掘和自注意学习的高度结合，提高低分辨率图像特征的生成效果，后续通过不同阶段网络的交替训练实现高分辨率图像的细化生成。同时加入了特征融合增强模块，通过将模型上一阶段的低分辨率特征与当前阶段的特征进行融合，生成网络可以充分利用低层特征的高语义信息和高层特征的高分辨率信息，更加保证了不同分辨率特征图的语义一致性，从而实现高分辨率的逼真的图像生成。实验结果表明，相较于基准模型（AttnGAN），SAF-GAN模型在IS和FID指标上均有改善，在CUB数据集上的IS分数提升了0.31，FID指标降低了3.45；在COCO数据集上的IS分数提升了2.68，FID指标降低了5.18。SAF-GAN模型能够有效生成更加真实的图像，证明了该方法的有效性。
计算机视觉 生成对抗网络 文本生成图像 CotNet 图像特征融合 computer vision generative adversarial networks text-to-image cotnet image feature fusion
甘肃同兴智能科技发展有限责任公司，甘肃兰州 730046
在传感器无法满足相关条件的情况下，变电站机器人巡视轨迹的点云数据不能准确匹配，为此提出红外图像特征融合下变电站机器人巡视轨迹三维点云配准方法。提取机器人运动方向梯度直方图和局部自相似描述两种特征，即 HOG特征和 LSS特征，并采用多特征自适应融合方法融合两种特征，并通过三维点云初步配准获取融合后轨迹特征的关键点和最佳的目标轨迹位姿参数，采用优化的迭代最近点算法精配准巡视轨迹，提升巡视轨迹位姿配准结果。实验结果表明：所研究方法特征融合效果良好，能够提升图像的边缘清晰程度，融合后偏差指数均低于 0.2，准确完成不同大小图像中关键点的配准，并且配准后的巡视轨迹与期望轨迹吻合程度较高。
红外图像 特征融合 变电站机器人 巡视轨迹 三维点云配准 关键点 infrared image, feature fusion, substation robot,
1 海军航空大学, 山东 烟台 264001
2 空军航空大学, 吉林 长春 130022
3 91977部队, 北京 102200
利用不同图像特征之间的互补性,可提升遥感场景零样本分类性能。将图像特征的融合与零样本分类结合,提出一种基于图像特征融合的遥感场景零样本分类算法。采用解析字典学习方法,计算各图像特征的稀疏系数,并串接起来作为融合后图像特征,以减少冗余信息且保留各图像特征自身特点;引入监督信息,提高融合特征的鉴别性;将融合特征与场景类别词向量进行结构对齐,提升对新类别场景的迁移识别效果。在UC-Merced和航拍图像数据集两种遥感场景集上,对相同层次及不同层次的场景图像特征分别进行融合实验。实验结果表明:对于总体分类准确度和运算耗时,所提算法均优于其他零样本分类算法及通用的特征融合算法,证明了方法的有效性。
遥感 图像特征融合 解析字典学习 遥感场景分类 零样本分类 鉴别性 结构对齐
