1 中国计量大学光学与电子科技学院，浙江 杭州 310018
2 西安应用光学研究所，陕西 西安 710065
针对太赫兹扫描成像设备存在的图像清晰度差、边缘模糊等问题，提出了一种基于生成对抗网络的太赫兹图像超分辨率重建算法。首先，在处理太赫兹图像时引入限制对比度自适应直方图均衡方法，有效解决了太赫兹图像对比度低的问题；其次，在生成对抗网络的基础上，提出了一种基于增强注意力机制的残差生成对抗网络，实现了太赫兹扫描图像的超分辨率重建，提升了图像纹理和细节的重建能力；最后利用频谱归一化的U-net网络对生成器生成的重建图像进行判别，增强了训练的稳定性。实验结果表明，提出的太赫兹图像超分辨率重建算法将太赫兹线阵相机所成太赫兹图像的边缘强度提高了7%，峰值信噪比提高了13%，平均梯度提高了12%，结构相似度提高了14%，验证了该算法的优越性和有效性。
太赫兹技术 太赫兹线阵相机 太赫兹图像 超分辨率重建 生成对抗网络 图像质量评价
1 北方民族大学 计算机科学与工程学院，宁夏银川75002
2 宁夏医科大学 医学信息工程学院，宁夏银川750004
3 北方民族大学 图像图形智能处理国家民委重点实验室，宁夏银川750021
基于生成对抗网络（Generative Adversarial Network，GAN）的医学图像融合是计算机辅助诊断领域的研究热点之一，但是现有基于GAN的融合方法存在训练不稳定，提取图像的局部和全局上下文语义信息能力不足，交互融合程度不够等问题。针对上述问题，本文提出了双耦合交互式融合GAN （Dual-Coupled Interactive Fusion GAN， DCIF-GAN）。首先，设计了双生成器双鉴别器GAN，通过权值共享机制实现生成器之间和鉴别器之间的耦合，通过全局自注意力机制实现交互式融合；第二，设计耦合CNN-Transformer的特征提取模块（Coupled CNN-Transformer Feature Extraction Module， CC-TFEM）和特征重构模块（CNN-Transformer Feature Reconstruction Module， C-TFRM），提升了对同一模态图像内部的局部和全局特征信息提取能力；第三，设计跨模态交互式融合模块（Cross Model Intermodal Fusion Module， CMIFM），通过跨模态自注意力机制，进一步整合不同模态间的全局交互信息。为了验证本文模型的有效性，在肺部肿瘤PET/CT医学图像数据集上进行实验，该文方法在平均梯度，空间频率，结构相似度，标准差，峰值信噪比，信息熵等上与其他四种方法中最优方法相比，分别提高了1.38%，0.39%，29.05%，30.23%，0.18%，4.63%。模型能够突出病变区域信息，融合图像结构清晰且纹理细节丰富。
医学图像 图像融合 PET/CT 耦合生成对抗网络 Swin Transformer medical image image fusion PET/CT coupled generative adversarial network swin transformer
1 河北工业大学人工智能与数据科学学院，天津 300130
2 河北省控制工程技术研究中心，天津 300130
针对光伏（PV）电池缺陷检测中存在的数据不均衡、缺陷尺度不一和背景纹理复杂多变等因素导致的误检、漏检问题，提出一种基于YOLOv8的缺陷检测算法YOLOv8-EL。首先，使用GauGAN进行数据增强，处理数据集的类内和类间不均衡的问题，提高模型泛化能力，降低模型过拟合的风险；其次，在主干网络和特征融合网络之间嵌入上下文聚合模块，自适应地融合不同层次的语义信息，对齐局部特征，减少微小微弱缺陷信息的丢失，抑制无关背景信息的干扰；最后，构建多注意力检测头以替换解耦头，引入不同的注意力机制细化分类和定位任务，提取空间和通道层面上的关键信息，减少特征混淆。实验结果表明，该模型在扩充后的PV电池EL数据集上的平均精度达到89.90%，模型参数量为13.13×106，在提升精度的基础上兼顾了后续部署时轻量化的要求。在PASCAL VOC数据集上进行泛化性实验，证明了改进算法的泛化性能。
缺陷检测 YOLOv8 生成对抗网络 特征融合 注意力机制 解耦头 激光与光电子学进展
2024, 61(8): 0812008
1 江苏科技大学理学院，江苏 镇江 212100
2 山东大学信息科学与工程学院，山东 青岛 266237
叠层成像的成像分辨率会受到数值孔径和电荷耦合器件（CCD）像素尺寸的限制。CCD靶面有限则数值孔径有限，采集大光斑图像时，易丢失CCD靶面边缘的部分高频信息。此外，像素尺寸较大会导致成像时采样率不足，也会丢失部分细节高频信息。提出了一种高分辨率叠层成像方法，可同时处理数值孔径和CCD像素尺寸的分辨率限制问题。首先，利用外推法补充因数值孔径有限丢失的高阶衍射信息，之后将外推法重建的图像代入基于多权重损失函数的生成对抗网络中，即可快速解决像素尺寸受限问题，提高成像分辨率。多权重损失函数为均方误差、特征图误差和对抗误差的加权和。通过设置合理的权重，可以实现像素和视觉层面的均衡处理。仿真及实验结果表明，该方法在提高叠层成像系统分辨率上具有显著效果，且运算效率高。
超分辨率 叠层成像 外推法 生成对抗网络 多权重损失函数 激光与光电子学进展
2024, 61(8): 0811003
1 北京交通大学信息科学研究所，北京 100044
2 现代信息科学与网络技术北京市重点实验室，北京 100044
3 香港理工大学电子及信息工程系光子研究所，香港 999077
首先，利用自洽约束生成对抗网络（SCGAN）建模布里渊增益谱（BGS）中的真实噪声分布，生成噪声数据用于去噪卷积神经网络训练。通过对高斯噪声和SCGAN生成噪声进行直方图统计和幅度谱分析，证明了两种噪声的差异。然后，利用2种噪声分别训练3种最新的去噪卷积神经网络，在不同温度、不同信噪比的实验数据上对比了各网络的性能。实验结果表明，所提方法能准确获取低信噪比BGS的布里渊频移，说明基于生成对抗网络的噪声提取方式能够有效地建模真实噪声，更好地训练有监督网络。
光纤光学 布里渊分布式光纤传感 图像去噪 生成对抗网络 自洽约束 噪声建模
1 桂林电子科技大学光电工程学院，广西 桂林 541004
2 哈尔滨工程大学物理与光电工程学院，黑龙江 哈尔滨 150006
本文针对光纤传感技术中相敏光时域反射仪（Φ-OTDR）数据采集受限的问题，提出了一种基于条件对抗生成网络（CGAN）的数据增强方法，用于在少量数据基础上生成大量训练样本。实验中采用Φ-OTDR完成数据采集，将采集到的真实数据作为CGAN的输入，网络通过自动提取信号特征，并在输入条件的帮助下生成逼真的信号数据。将生成数据和原始数据分别输入决策树、支持向量机、卷积神经网络等模型进行分类，实验结果显示，生成数据在各个分类器中的检测结果都得到了显著提升，有效提高了分类器模型的检测能力和性能，实现了Φ-OTDR模式的目标识别，并解决了数据采集困难的问题。本文研究为小样本检测提供了新的思路和方法，对其他光纤传感技术的应用具有借鉴意义。
光纤传感 相敏光时域反射仪 数据增强 深度学习 条件对抗生成网络
光子学报
2023, 52(12): 1210004
1 南京信息工程大学, 南京 210000南京信息工程大学江苏省大气环境与装备技术协同创新中心, 南京 210000
2 南京信息工程大学, 南京 210000
针对水下图像颜色失真和细节丢失等问题, 提出了一种基于多尺度三重注意力机制的水下图像增强算法。该算法使用生成对抗网络作为基础架构, 生成网络采用编码解码结构, 并设计一个多尺度三重注意力模块, 多尺度结构和三重注意力机制结合可以实现不同层次信息的跨维度交互, 使网络更好地学习水下图像特征和抑制噪声特征, 判别网络采用类似马尔可夫判别器的结构; 构建了多个损失函数, 使生成的图像在结构、内容、色彩上和参考图像保持一致。实验结果表明, 所提算法在主观视觉和客观评价指标上均优于比较算法, 可以有效地提升网络的特征提取能力, 实现对不同场景水下图像的色彩恢复, 增强图像的对比度和清晰度。
水下图像增强 三重注意力 生成对抗网络 编码解码结构 多尺度结构 underwater image enhancement Triple Attention Generative Adversarial Network codec structure multi-scale structure
1 西南交通大学 信息科学与技术学院，四川 成都 611756
2 西南交通大学 数学学院，四川 成都 611756
由于射频信号种类多，电磁环境复杂，特征提取难度大，现有的基于人工特征的射频辐射源个体识别方法的鲁棒性、适用性难以满足应用需求。数据驱动的深度学习方法虽然可以提供更灵活的辐射源个体识别模式，但深度学习方法自身可解释性差，而且缺乏通用测试模式来评价一个深度学习方法的优劣。本文在电磁大数据非凡挑战赛目标个体数据集的基础上，探索了基于该数据集的深度学习模型测试方法，提出面向辐射源个体识别神经网络模型的通用测试系统架构。该构架通过信号特征遮掩、生成对抗网络(GAN)、欺骗信号汇集、信道模拟等方法构造仿真测试样本，并把测试样本与原样本数据导入深度模型进行识别结果对比测试。基于测试结果分析了深度模型聚焦的信号关键特征位置，分析模型的鲁棒性，揭示信道环境对识别性能的影响，从而解释了深度学习网络模型的性能。
辐射源个体识别 可解释性 生成对抗网络 无线信号欺骗 specific emitter identification interpretability Generative Adversarial Network(GAN) wireless signal spoofing 太赫兹科学与电子信息学报
2023, 21(6): 734
1 西南石油大学计算机科学学院，四川成都 610500
2 四川省人民医院 a.心血管超声及心功能科
3 b.超声心脏电生理学与生物力学四川省重点实验室，四川成都 610072
针对医学超声图像的分辨率低而导致视觉效果差的问题，使用基于神经网络的图像超分辨率(SR)重建方法提升医学超声图像的分辨率。采用针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法，通过减少 2个输入通道和删除 1个残差块对该网络的结构进行更改，并且改进网络损失函数，新增模糊处理数据集，使该网络适应医学超声图像所具备的灰度图像、散斑纹理单一等特点，从而重建出放大 4倍的边缘清晰没有伪影的医学超声图像。将改进 SRGAN与原始 SRGAN的结果相比，峰值信噪比(PSNR)和结构相似性(SSIM)分别有 1.792 dB和 3.907%的提升; 与传统双立方插值的结果相比，PSNR和 SSIM分别有 2.172 dB和 8.732%的提升。
超分辨率重建 生成对抗网络 乳腺超声图像 残差块 亚像素卷积层 super-resolution reconstruction Generative Adversarial Network breast ultrasound image residual block sub-pixel convolution layer 太赫兹科学与电子信息学报
2023, 21(5): 677
