海军工程大学电气工程学院，湖北 武汉 430033
针对生成对抗网络生成火焰图像质量不高、颜色难以控制的问题，基于HistoGAN算法，提出一种新的火焰生成算法（fire-GAN）。首先，在图像预处理环节添加火焰图像分割，使网络不受背景的干扰，能有效减少生成火焰发生形状变形、颜色失真的情况；其次，提出圆形度损失函数，使网络在训练过程中更加关注火焰轮廓的复杂度；最后，在生成器和判别器中均采取数据增强，使网络在训练过程中保持稳定，避免发生梯度爆炸。经实验测试，fire-GAN生成的火焰与目标火焰的RGB平均误差为2.6%，Fréchet inception distance（FID）为59.23，inception score（IS）为2.81。实验结果表明，fire-GAN能生成与目标火焰图像颜色相近、清晰度好、真实性高的火焰图像。
生成对抗网络 生成火焰图像 火焰图像分割 圆形度损失函数 数据增强 激光与光电子学进展
2023, 60(12): 1210008
光子学报
2022, 51(12): 1210004
针对人物姿态迁移生成图像存在纹理细节丢失、姿态转移不合理等问题，提出一种融合自注意力机制的人物姿态迁移生成模型。首先，在两阶段姿态迁移生成模型的基础上，通过把改进的自注意力模块嵌入到生成对抗网络中，降低相似特征间的相互影响，强化对纹理细节的学习能力及丰富信息的捕获能力，增强姿态特征的显著性建模。然后，使用马尔可夫判别模型，进一步增强对生成图像细节的鉴别能力。最后，采用优化的内容损失函数，约束整个模型的图像特征信息损失计算，促进生成图像与真实图像语义内容一致性，加强姿态转移的合理性。实验验证，本模型在Deepfashion数据集上比PG2方法的IS值与SSIM值分别提升了0.388和0.032，在Market-1501数据集上比PG2方法的IS值与SSIM值分别提升了0.036和0.065，改善了图像生成质量。
图像处理 深度学习 生成对抗网络 图像生成 自注意力机制 激光与光电子学进展
2022, 59(4): 0410014
光子学报
2021, 50(11): 1110004
北京工业大学环境与生命学部, 智能化生理测量与临床转化北京市国际科研合作基地, 北京 100124
提出了一种基于变分自编码器的眼科光学相干断层成像(OCT)图像生成方法,缓解了深度学习任务中数据不足的问题,有助于提高眼科疾病辅助诊断算法的性能。搭建了基于变分自编码器的OCT图像生成网络,并基于目前两个公开的视网膜OCT图像数据集,构建了老年性黄斑变性、糖尿病性黄斑水肿和正常三种类别的视网膜OCT图像样本数据集,并分别训练网络得到各自的图像生成模型。采用主观视觉评价和客观实验验证两种方式验证了所提图像生成方法是有效的。主观视觉评价和客观实验结果均表明所提方法可以有效生成三种类别的视网膜OCT图像。
医用光学 图像生成 视光学 光学相干断层成像 深度学习 变分自编码器 光学学报
2021, 41(14): 1417001
江西理工大学信息工程学院, 江西 赣州 341000
研究基于场景描述文本生成对应图像的方法,针对生成图像常常出现的对象重叠和缺失问题,提出了一种结合场景描述的生成对抗网络模型。首先,利用掩模生成网络对数据集进行预处理,为数据集中的对象提供分割掩模向量。然后,将生成的对象分割掩模向量作为约束,通过描述文本训练布局预测网络,得到各个对象在场景布局中的具体位置和大小,并将结果送入到级联细化网络模型,完成图像的生成。最后,将场景布局与图像共同引入到布局鉴别器中,弥合场景布局与图像之间的差距,得到更加真实的场景布局。实验结果表明,所提模型能够生成与文本描述更匹配的图像,图像更加自然,同时有效地提高了生成图像的真实性和多样性。
图像处理 图像生成 生成对抗网络 场景描述 分割掩模 场景布局 激光与光电子学进展
2021, 58(4): 0410012
哈尔滨理工大学 测控技术与通信工程学院, 黑龙江 哈尔滨 150080
针对当训练样本不足时, 传统深度学习算法在手写数字识别中会出现训练不稳定、识别精度较低等问题, 提出了基于条件生成对抗网络的识别方法。首先, 在条件生成对抗网络的基础上, 利用生成器使用类别标签控制图像生成的优点, 将生成器产生的图像样本作为训练数据, 扩充数据集。同时, 利用反卷积网络和卷积网络分别构成生成器和判别器的网络结构, 去掉全连接层以提升模型稳定性。然后, 引入条件批量归一化, 利用它使用类别标签的优点, 使网络学习更多的特征。最后, 改进判别器为分类器, 并提出新的损失函数, 加快收敛速度, 提高识别精度。实验结果表明, 本文所提出的手写数字识别方法生成的图像质量更好, 识别准确率更高, 达到99.43%, 为生成对抗网络及其变体在图像识别领域中的应用提供了参考。
手写数字识别 条件生成对抗网络 条件批量归一化 图像生成 handwritten digit recognition conditional generative adversarial network conditional batch normalization image generation
1 中国科学院光电技术研究所, 四川 成都 610209
2 中国科学院大学, 北京 100049
生成对抗网络(GAN)是解决图像数据获取困难的有效方法,但GAN在训练时难以稳定,生成的图像质量较差。基于此,提出了一种基于残差结构的改进深度卷积GAN图像生成方法。采用残差结构加深网络并结合图像标签信息,以获取真实图像样本的深层次特征,在判别器模型中引入谱约束,提高网络的训练稳定性,从而实现图像数据的有效生成。实验表明,所提方法在生成图像的视觉效果和客观评价上具有更优异的表现。
机器视觉 深度学习 残差结构 生成对抗网络 图像生成 激光与光电子学进展
2020, 57(18): 181504
江西理工大学信息工程学院, 江西 赣州 341000
针对目前人物图像生成模型普遍存在糊化和纹理缺失等问题,提出一种融合特征反馈机制的姿态引导人物图像生成模型,该模型采用生成式对抗神经网络进行训练,在姿势集成和图像细化阶段生成模型的基础上提出一种特征信息反馈机制,使得生成模型的每个阶段都会受到特征比对调节。受到迁移学习的启发,将在ImageNet数据集上预训练的权重作为模型特征层的初始权重,并在训练过程中进行相应微调,旨在增强图像生成模型的稳健性和鲁棒性,提高生成图像的质量。实验结果表明,所提模型能够获取较为真实细腻,符合人类视觉感知的人物图像。
图像处理 图像生成 迁移学习 姿态估计 对抗神经网络 激光与光电子学进展
2020, 57(14): 141011
