弱小目标检测是红外探测与跟踪任务中的经典难题。针对复杂背景下红外弱小目标普遍存在检 测率低、虚警率髙的问题, 提出一种基于区域双邻域显著图(Regional Bi-Neighborhood Saliency Map, RBNSM)的复杂背景红外弱小目标检测新方法。利用弱小目标的局部先验特性定义滑动窗口并划分 为多个单元, 计算中心单元前若干个最大灰度的均值来凸显弱目标; 分别构建中心单元的相接邻域和 相隔邻域并计算各自的灰度均值, 进而, 从不同方向上提取两邻域显著图并点乘二者以进一步抑制杂 波背景、增强弱小目标; 最后, 通过自适应提取准确检测目标。多种典型红外复杂背景图像和SIRST 数据集检测结果表明: 与7种代表性方法相比, RBNSM在复杂背景下具有更好的检测性能与杂波抑 制能力。

针对低分辨率源图像的融合结果质量低下不利于后续目标提取的问题,提出一种基于梯度惩罚Wasserstein生成对抗网络(WGAN-GP)的多波段图像同步超分与融合方法。首先,基于双三次插值法将多波段低分辨率源图像分别放大至目标尺寸;其次,将该放大结果输入特征提取(编码)网络分别提取特征并在高层特征空间进行组合;然后,通过解码网络重构出初步融合图像;最后,经过生成器和判别器的动态博弈得到高分辨率的融合图像。实验结果表明,所提方法不仅可以同步实现多波段图像的超分和融合,而且融合图像的信息量、清晰度和视觉质量明显高于其他代表性方法。

红外图像去雾算法的主要任务是解决红外图像因米氏散射引起的低可见性和模糊。但是当前红外图像去雾算法对红外图像暗处透射率估计欠佳，针对这一情况，研究了基于雾线暗原色先验的红外图像去雾算法。首先 ，利用霍夫变换估计大气光照；然后，针对雾线去雾方法在部分场景中失效的现象，采用雾线暗原色先验方法，通过假设雾线较暗端为真实颜色估计透射率，获取透射率图；最后为去除透射率图中噪声，对透射率图全变分 正则化进一步优化透射率图。以公开红外数据库 LTIR作为测试对象，实验结果表明，本文去雾算法在增强红外图像清晰度的同时未破坏红外辐射分布，对各种场景的红外图像有较好去雾效果。透射率估计准确，有较好红外 图像去雾能力。

针对多模态图像融合中多尺度几何工具和融合规则设计困难的问题,提出一种基于生成对抗网络(GANs)的图像融合方法,实现了多模态图像端到端的自适应融合。将多模态源图像同步输入基于残差的卷积神经网络(生成网络),通过网络的自适应学习生成融合图像;将融合图像和标签图像分别送入判别网络,通过判别器的特征表示和分类识别逐渐优化生成器,在生成器和判别器的动态平衡中得到最终融合图像。与具有代表性的融合方法相比,实验结果表明,本文方法的融合结果更干净,没有伪影,提供了更好的视觉质量。

提出了一种基于改进特征金字塔的Mask R-CNN目标检测方法。实验结果表明,在目标边缘和包围盒两项检测中,相比于Mask R-CNN检测框架,所提方法在不同的交并比阈值下的平均准确率分别提高了约2.4%和3.8%。尤其对于中等尺寸目标的检测准确率有较大的提高,分别为7.7%和8.5%,具有较强的稳健性。

为了选取基于拉普拉斯金字塔变换融合方法效果较好的融合规则来提高多波段图像融合质量, 现结合 12种融合规则对可见光、红外短波和红外长波图像进行融合, 通过主观人眼视觉观察与客观评价中的信息量、统计特性和人眼视觉特性的评价指标对融合效果进行分析比较, 找到融合效果较好的融合规则。实验结果表明, 低频使用等值加权平均时, 融合效果较差, 对比度低。高频使用绝对值取大、低频使用区域匹配时, 融合结果清晰, 评价指标最高, 便于人眼观察。高频使用区域能量取大、低频使用区域匹配度取大时, 融合结果可以充分显示边缘和纹理信息。高频使用一致性检测和区域方差时融合效果一般。

为了在多波段图像融合中选用合适的直觉模糊化方法来处理不确定性问题, 对 5种常用的直觉模糊集方法在多波段图像融合中的应用进行了比较。首先将多波段图像进行直觉模糊化处理, 对隶属度图像进行去模糊化得到直觉模糊图像; 然后, 将直觉模糊图像进行非下采样轮廓波变换(Nonsubsampled contourlet transform, NSCT), 对低频图像进行直觉模糊化处理, 所得隶属度作为权重进行加权融合, 高频使用取大规则进行融合; 最后通过逆变换得到融合图像。对融合结果采用主观人眼视觉观察和客观评价指标体系进行分析比较, 得到较好的直觉模糊集方法的优势性能。实验结果表明, 与 Sugeno、Yogita、Yager及 Chaira四种直觉模糊化方法相比, Bala直觉模糊化方法可以有效提高融合结果的亮度和对比度, 而且融合结果边缘清晰, 纹理特征明显, 具有更好的视觉融合效果和客观质量评价。

针对现有方法修补点云张开孔洞效果不佳的问题, 提出了一种基于改进的曲线收缩流虚拟修补点云张开孔洞的方法。在计算出孔洞边界点的表面法向量和切向量的基础上, 根据特征线补全边界缺失部分, 组成全部边界; 然后得到各边界点切向量垂直平面与边界的交叉点, 并与对应边界点构成交叉向量; 利用内法向量和交叉向量的加权和计算边界点生长方向, 根据原始点云的密度确定生长步长, 从而进行修补; 最后, 利用拉普拉斯平滑算法光顺网格, 使网格均匀化, 得到最终修补效果。实验结果表明, 与基曲面网格添加法、波前法和几何特征修补法对比, 基于改进的曲线收缩流方法在高斯曲率分布相似性方面提高26.8%。

为解决微光探测条件下多波段图像融合效果差、信息丢失的问题, 提出了基于直觉模糊集的多波段图像融合方法。首先利用最大化熵准则对源图像分别进行直觉模糊处理, 其次对隶属度图像进行去模糊后进行非下采样剪切波变换(NSST), 得到各自的高频图像和低频图像, 然后对高频图像用绝对值取大融合, 对低频图像用清晰度取大融合, 最后对高频融合图像和低频融合图像进行 NSST逆变换得到最终融合图像。实验结果表明, 本方法可对微光探测条件下多波段图像自适应处理, 融合结果目标显著, 对比度和清晰度大, 主观和客观评价指标均优于其他方法。

针对星空背景下卫星跟踪中运动小目标与伪目标交会造成的跟踪漂移问题,提出一种基于多域卷积神经网络(MDNet)与自回归(AR)模型的空中小目标自适应跟踪方法。 对用MDNet采集到的图像序列第1帧的正样本进行bounding-box回归模型训练;再训练用最小信息准则和最小二乘法确定阶数和参数的AR模型,估计目标运动轨迹并预测目标位置;最后,将该目标位置作为MDNet的采样中心,约束采样候选区域,用bounding-box回归模型调整目标位置。 实验用8种跟踪方法测试了8组场景复杂的视频序列,结果表明,本文方法的成功率及平均覆盖率均显著高于其他7种典型算法,具有较高的精确性和稳健性。