为解决小型无人机“黑飞”对公共领域的威胁问题。基于无人机目标多模态图像信息，文中提出一种轻量化多模态自适应融合孪生网络（Multimodal adaptive fusion Siamese network，MAFS）。设计一种全新的自适应融合策略，该模块通过定义两个模型训练参数赋予不同模态权重以实现自适应融合；本文在 Ghost PAN基础上进行结构重建，构建一种更适合无人机目标检测的金字塔融合结构。消融实验结果表明本文算法各个模块对无人机目标检测精度均有提升，多算法对比实验结果表明本文算法鲁棒性更强，与 Nanodet Plus-m相比检测时间基本不变的情况下 mAP提升 9%。

针对现有利用可见光与红外模态融合的行人目标检测算法在全天候环境下漏检率高的问题，提出一种基于光照感知权重融合的多模态行人目标检测算法。首先，使用引入高效通道注意力（ECA）机制模块的ResNet50作为特征提取网络，分别提取两个模态的特征；其次，对现有光照加权感知融合策略进行改进，通过设计一种新的光照感知加权融合机制获取可见光与红外模态的对应权重，并进行加权融合得到融合特征，从而降低算法的检测漏检率；最后，将从特征网络最后一层提取的多模态特征和生成的融合特征共同送入到检测网络，完成行人目标检测。实验结果表明，所提算法在KAIST数据集下具有良好的检测性能，在全天候下对行人目标的检测漏检率为11.16%。

为了增加融合图像的信息量, 结合非下采样剪切波变换(Non-Subsampled Shearlet Transform, NSST)和离散小波变换(Discrete Wavelet Transform, DWT)的互补优势, 提出了改进的多模态图像融合方法。采用NSST对两幅源图像进行多尺度、多方向的分解, 得到相应的高频子带和低频子带; 利用DWT将低频子带进一步分解为低频能量子带和低频细节子带, 并利用最大值选择规则融合能量子带; 采用改进连接强度的自适应脉冲耦合神经网络(Improved Connection Strength Adaptive Pulse Coupled Neural Network, ICSAPCNN)分别融合细节子带和高频子带, 并对能量子带和细节子带进行DWT逆变换, 得到融合的低频子带; 采用NSST逆变换重构出细节信息丰富的融合图像。实验证明, 提出的算法在主观视觉和客观评价方面均优于其他几种算法, 且能同时适用于红外与可见光源图像、医学源图像的融合。

针对多模态图像融合中多尺度几何工具和融合规则设计困难的问题,提出一种基于生成对抗网络(GANs)的图像融合方法,实现了多模态图像端到端的自适应融合。将多模态源图像同步输入基于残差的卷积神经网络(生成网络),通过网络的自适应学习生成融合图像;将融合图像和标签图像分别送入判别网络,通过判别器的特征表示和分类识别逐渐优化生成器,在生成器和判别器的动态平衡中得到最终融合图像。与具有代表性的融合方法相比,实验结果表明,本文方法的融合结果更干净,没有伪影,提供了更好的视觉质量。

针对可见光图像和红外图像配准问题，提出了一种新的自动配准方法.该算法通过同级极值区域检测子在灰度梯度图像上提取仿射协变区域.然后利用超图匹配算法确定匹配点对实现图像配准.该方法尤其适合于红外图像的质量或者边缘比对应的可见图像质量或边缘差情况下的异模配准.对一些具有挑战性的图像对进行试验，实验结果表明我们提出的方法比其他方法获得了更好的性能.

非刚性配准是医学图像处理的一个重要的研究方向.基于光流场模型的Demons算法由于仅依赖图像灰度梯度使图像变形,当缺乏梯度信息时图像的变形方向不能确定,因而容易造成误配准,且该算法只适合于单模态图像配准.本文针对最大互信息配准方法在多模态刚性配准中的成功应用,提出了一种可用于多模态图像配准的改进Demons算法.该方法在原有驱动图像变形力的基础上,增加两幅图像问互信息对当前变换的梯度作为附加力作用,使浮动图像向两图像间互信息增大的方向变形,正确地配准图像.为避免陷入局部极值并提高算法的运行速度,该方法在多分辨率策略下实现.使用单模态、多模态图像分别进行实验来验证此算法,并与原始Demons算法进行比较,实验表明,该方法能够快速地产生准确的配准变换.