针对多模态图像融合中多尺度几何工具和融合规则设计困难的问题,提出一种基于生成对抗网络(GANs)的图像融合方法,实现了多模态图像端到端的自适应融合。将多模态源图像同步输入基于残差的卷积神经网络(生成网络),通过网络的自适应学习生成融合图像;将融合图像和标签图像分别送入判别网络,通过判别器的特征表示和分类识别逐渐优化生成器,在生成器和判别器的动态平衡中得到最终融合图像。与具有代表性的融合方法相比,实验结果表明,本文方法的融合结果更干净,没有伪影,提供了更好的视觉质量。

为了在多波段图像融合中选用合适的直觉模糊化方法来处理不确定性问题, 对 5种常用的直觉模糊集方法在多波段图像融合中的应用进行了比较。首先将多波段图像进行直觉模糊化处理, 对隶属度图像进行去模糊化得到直觉模糊图像; 然后, 将直觉模糊图像进行非下采样轮廓波变换(Nonsubsampled contourlet transform, NSCT), 对低频图像进行直觉模糊化处理, 所得隶属度作为权重进行加权融合, 高频使用取大规则进行融合; 最后通过逆变换得到融合图像。对融合结果采用主观人眼视觉观察和客观评价指标体系进行分析比较, 得到较好的直觉模糊集方法的优势性能。实验结果表明, 与 Sugeno、Yogita、Yager及 Chaira四种直觉模糊化方法相比, Bala直觉模糊化方法可以有效提高融合结果的亮度和对比度, 而且融合结果边缘清晰, 纹理特征明显, 具有更好的视觉融合效果和客观质量评价。

矿物颜料的准确配色是实现文物壁画高品质修复, 颜色高保真还原的关键技术。 矿物颜料颗粒的粒径大小是影响矿物颜料颜色信息和光谱反射率信息的一个重要因素。 准确获取壁画表面的矿物颜料光谱反射率信息, 是实现颜料颗粒粒径信息识别的有效途径。 但是, 由于壁画表面矿物颜料部分采样点的光谱信息受到了干扰, 无法与不同粒径的矿物颜料的光谱数据库准确匹配, 因此也无法从采集的光谱信息中获取有效的粒径信息。 针对受干扰的颜料光谱信息, 提出利用比值导数法对其进行处理。 把光谱信息从光谱反射率空间转换到比值导数光谱空间进行匹配, 降低光谱中的干扰信息, 增强矿物颜料颗粒本身的光谱特征信息。 以壁画中常用的不同粒径的石青和石绿矿物颜料为实验对象, 制成色块样本, 以基底和白色颜料为主要影响因素, 对文中提出的方法进行测试。 光谱角度量的结果和光谱曲线图的匹配结果显示, 在比值导数光谱空间, 获得了满意的光谱匹配精度。 验证了文中提出的分析方法可以解决实验中受干扰颜料光谱匹配不准确而无法获得粒径信息的问题, 能够为壁画修复过程中矿物颜料的配色提供准确的粒径信息参考。