The prediction of fundus fluorescein angiography (FFA) images from fundus structural images is a cutting-edge research topic in ophthalmological image processing. Prediction comprises estimating FFA from fundus camera imaging, single-phase FFA from scanning laser ophthalmoscopy (SLO), and three-phase FFA also from SLO. Although many deep learning models are available, a single model can only perform one or two of these prediction tasks. To accomplish three prediction tasks using a unified method, we propose a unified deep learning model for predicting FFA images from fundus structure images using a supervised generative adversarial network. The three prediction tasks are processed as follows: data preparation, network training under FFA supervision, and FFA image prediction from fundus structure images on a test set. By comparing the FFA images predicted by our model, pix2pix, and CycleGAN, we demonstrate the remarkable progress achieved by our proposal. The high performance of our model is validated in terms of the peak signal-to-noise ratio, structural similarity index, and mean squared error.

随着越来越多的大型光谱巡天计划的实施, 产生了海量的恒星光谱数据, 这对于恒星演化理论的研究具有重大意义, 但也给传统的光谱分类和处理带来极大挑战。 2021年发布的LAMOST DR7(v2.0版本)光谱数据集中, 恒星光谱总量为百万量级, 但其中O型星的数量仅为129条, 远远小于其他六类恒星光谱数量。 对于这种数据量大、 数据集严重不平衡的情况, 传统的机器学习分类方法达不到较好的效果, 因此多用于对相邻两类、 部分类或子类恒星光谱进行分类。 针对以上问题, 使用一维卷积神经网络(CNN)和一维生成对抗网络(GAN)相结合的半监督学习模式对七类恒星光谱进行全分类。 实验首先对每条光谱进行裁剪和去噪, 截取光谱波长范围为370.00~867.16 nm部分, 然后进行均匀采样和归一化, 生成大小为1×3 700的数据集样本, 送入CNN进行训练。 为了避免过拟合并提高模型对未知数据的预测能力, 在CNN的全连接层和池化层之间添加正则项Dropout。 使用该网络对除O型星以外的六类光谱进行分类, 平均分类准确率达到98.08%。 针对O型星数量严重偏少的问题, 采用GAN来扩充数据集。 GAN的输入是1×900大小的噪声信号, 经过生成器中全连接的三层跨步卷积运算, 输出大小为1×3 700的数据。 通过对生成器和判别器进行单独交替迭代训练使GAN收敛, 最终输出所需数量的O型星样本, 达到扩充数据集的目的。 和常见的通过过采样扩充数据集相比, 利用GAN扩充数据集, 结合一维CNN对恒星光谱进行全分类, 可以将O型星的分类准确率由72.92%提升至97.92%, 整个分类器的准确率达到96.28%。 实验结果表明, 使用这种半监督模式的恒星光谱自动分类方法可以实现对七类恒星光谱的快速、 准确分类, 也可以用于对标记为“Unknown”的未分类恒星光谱进行挖掘, 达到充分利用光谱的目的。

为了解决3维点云补全中难以提取点云局部特征信息的问题, 提出了融合图注意力的多分辨率点云补全网络结构。采用了生成对抗网络框架处理数据的方法, 生成器通过图注意力层构建点云图结构, 融合不同分辨率的特征信息后加上网格数据, 结合折叠操作重构缺失结构并输出逐级补全的点云数据; 判别器判别点云真伪, 通过反馈以提高准确度并优化生成器, 使得生成数据具有精细的几何结构, 近似于真实点云; 在形状数据集上,将本文中的方法与其它4种方法进行比较, 通过实验验证和理论分析, 取得了最优的结果。结果表明, 该方法能够有效地补全点云形状的缺失部分, 得到完整且均匀的点云形状, 相较于点分形网络性能提高约1.79%, 对于实测数据的补全处理也达到了预期效果; 所提出的点云补全网络结构, 在提取点云全局形状特征的同时更好地提取了其局部几何特征信息, 使得补全出的点云形状更加精细。该研究为智慧城市3维建模提供了参考。

针对近红外图像彩色化过程中因近红外与可见光图像间模态差异较大,导致着色后图像在纹理细节处存在颜色晕染、区域误着色的问题,提出了颜色预测和语义感知相结合的生成对抗网络。设计颜色预测和语义感知双分支生成器,颜色预测分支采用带有跳转连接的残差网络,语义感知分支采用带有语义融合的空洞卷积金字塔结构;不同的扩张率,能够获得多个感受野提取多尺度语义特征,将感知到的语义嵌入到颜色预测分支,提高模型的语义理解能力,改善颜色晕染、区域误着色问题;设计循环一致语义损失函数,约束生成器中语义信息的一致性;算法在RGB-NIR场景数据集上进行性能实验比对以及消融实验。实验表明,所提算法相比于现有彩色化算法,PSNR、SSIM和LPIPS评价指标优于现有算法,着色效果更符合视觉感受。

针对单幅偏振图像在一定场景下无法提供充足信息的问题，结合强度图像和线偏振度图像的优势特征，提出一种基于密集梯度生成对抗网络的偏振图像融合算法。利用密集连接卷积网络和梯度算子构建密集梯度卷积模块，并将该模块应用在生成器中，用以增强融合图像的纹理细节; 构造多尺度结构相似度和L1范数相结合的损失函数，用以提高网络的整体性能。在ZJU-RGB-P数据集进行定性比较和定量分析，实验结果表明，所提算法具有更好的主观视觉感受，同时各项评价指标均得到明显提升。

深度学习技术中的生成对抗网络（GAN）方法由于能够从输入的大量数据中抽取变量特征，生成更为真实的气象图像预测，在遥感领域有较为广泛的应用。但目前该算法在大气运动矢量（AMVs）的反演中应用较少，而AMVs是数值天气预报资料同化系统所需的重要产品资料。基于此，本文提出了利用生成对抗网络pix2pix从静止气象卫星图像反演AMVs的方法，由pix2pix模型将遥感影像转换为200 hPa和850 hPa的矢量风场。在最佳的资料和模型架构条件下，该方法反演得到的AMVs与传统算法所得产品资料质量相当，且克服了传统算法高度订正困难、无法获得某一层面完整风场和低层样本数偏低等缺点。个例分析亦表明，该方法针对具体的天气系统也有良好的表现。