图像融合将来自不同捕获条件或不同传感器的互补图像进行融合以提高图像的视觉质量。针对这一任务, 本文提出一种改进的滚动引导滤波与神经网络相结合的多尺度融合算法。首先, 使用孪生卷积神经网络学习图像特征, 并以此获得包含源图像显著特征的权值映射图。随后, 使用改进的滚动引导滤波对图像进行多尺度分解, 结合信息熵使滚动引导滤波权重参数自适应化来实现多尺度自适应分解, 并结合非线性映射增强图像细节信息。最后, 采用局部能量与权值图相结合的自适应调整融合模式对多尺度图像进行融合。经实验对比, 所提方法能够避免出现图像边缘圆晕效应, 且能够更好地突出图像边缘、细节纹理特征。另外, 与其他算法相比, 本文所提出的算法在平均梯度、信息熵、视觉信息保真度以及空间频率等客观评价指标项上均取得了更优的性能表现。

为了精确地配准近平面场景下的红外-可见光视频序列, 本文提出了一种基于轮廓特征匹配的自动配准方法, 通过迭代匹配目标轮廓特征来解决异源图像中配准特征的提取和匹配难题。首先, 采用运动目标检测技术获取目标轮廓, 并由曲率尺度空间(CSS)角点检测算法提取轮廓特征点。此后, 建立全局形状上下文描述子和局部边缘方向直方图描述子描述特征, 从而实现可靠的特征匹配。来自不同时刻的匹配点对被保存在一个基于高斯距离准则的特征匹配库中。最后, 为了克服近平面场景中目标深度变化的影响, 本文结合前景样本随机抽样策略计算配准矩阵的损失函数, 完成对全局配准矩阵的更新。在LITIV数据库上对方法进行实验验证, 结果表明: 本文方法的配准精度优于当前先进的对比方法, 在9个测试视频上的平均重叠率误差仅为0.194, 与对比方法相比下降了18.5%。基本满足了近平面场景下红外-可见光视频序列配准的精度要求, 且具有较高的鲁棒性。

为了提高多目标图像的ORB匹配的正确率, 提出一种基于Mask R-CNN的图像ORB去除误匹配方法, 该算法首先通过Faster R-CNN方法对图像进行识别, 运用区域推荐网络得到矩形框标注的感兴趣区域和类别标签, 该步骤可以得到感兴趣区域的预测类别和坐标信息, 并且通过全卷积网络卷积层进行像素级别校正, 得到像素级别的目标所属类别, 然后进行目标分割。最后在原有ORB特征点匹配基础上, 剔除两幅图像中相同目标分割区域以外的误匹配点。为了验证该方法的有效性, 对传统ORB匹配与基于本文方法的ORB匹配进行了仿真实验。改进后的算法, 使得在多目标环境下的目标的匹配精度提高了约18.6%, 结果表明, 本文算法较传统的ORB匹配算法的精度有一定提高。

针对光照不足导致图像质量退化的问题, 提出了亮通道先验的Retinex算法用来补偿图像的光照强度。该算法假设局部恒常的光照可以初步满足光照均匀并与场景相似, 以亮通道运算对光照分量进行粗估计; 通常解决局部处理带来的分块效应问题是采用引导滤波方法, 但这会使补偿后的图像纹理模糊甚至丢失细节, 为此设计了基于图像结构相似性的融合策略。最后使用Retinex理论模型对光照进行补偿。实验结果表明: 所提算法简单高效, 能够对图像阴影或夜间图像的低照度区域进行快速地光照补偿, 在峰值信噪比(PNSR)上较传统算法提高了5 dB左右, 在结构相似性(SSIM)上比传统算法提高了7%以上。算法在纯软件系统的PC机上处理640×360的彩色视频时能达到6~12 ms/帧, 处理320×256的红外视频时达到4~10 ms/帧, 可满足工程需要。

由于航拍图像的拍摄高度远低于卫星图像拍摄高度，因此每个拍摄地点的建筑投影差大小和方向都不相同，图片畸变严重。此外，考虑到图像边缘区域的畸变程度远大于图像中心区域的畸变程度，本文提出了一种基于极坐标的Lagrange插值的逐点畸变校正方法。利用该方法在极坐标系内对单个像素点进行插值，然后根据插值结果对像素点进行校正，再将其坐标从极坐标系变换回直角坐标系，最后采用此方法在整个航拍图像内逐点进行畸变校正。实验结果表明，校正后的航拍图像畸变程度不超过3%，证明该方法不但能有效地校正畸变图像，且与传统的利用DLT线性求解畸变校正矩阵等校正方法相比具有更为广泛的适用性。

将引导滤波与提升小波相结合提出了一种多尺度引导滤波方法，以实现在平滑图像细节的同时保持图像边缘不模糊。该方法通过提升小波法对将图像进行多尺度分解，即将信号分解成一个低频子带和多个高频子带。在提升小波重构过程中，利用引导滤波平滑每个尺度的低频信息并保持其边缘不模糊。最后，针对滤波后残余的细节，对提升小波重构后的平滑图像再次进行引导滤波，以便进一步平滑图像细节。将多尺度引导滤波应用于暗通道去雾先验理论并进行了主、客观评价。结果显示: 多尺度引导滤波能够深层次平滑图像细节，保持边缘完整性，从整体上提高了图像的对比对和视觉效果，有效恢复了场景信息并保留场景的边缘信息。另外，该方法改善了客观评价指标，其对比度增强系数指标平均提升了0.1以上，场景结构相似度平均提升了1以上， 而LOE(Lightness Order Error)参数降低了10以上，满足了去雾应用的视觉需求。

目前人脸识别系统在识别表情变化的人脸图像时识别准确率会降低, 多表情人脸识别在人脸识别领域仍是一个热门的研究方向。本文采用SIFT算法对多表情人脸进行识别, 在多表情人脸库上进行了两类仿真实验: 实验一中对比了同一个人的不同表情的识别效果, 实验二中对比了两个不同的人的相同表情的识别效果, 实验结果表明SIFT算法能够克服不同人脸间的整体相似性并能有效提取出人脸的局部细节特征。对Jaffe表情库进行仿真实验, 取得了当阈值T=0.35时对多表情人脸图像的正确识别率95.69%, 实验结果表明, 将SIFT算法应用于多表情人脸识别有巨大的潜在科研价值。

针对红外相机系统响应非均匀性所产生的竖条纹固定噪声, 提出了基于多线程优化的单帧红外图像非均匀性实时校正算法。该算法参考全变分理论的非均匀性校正算法确定噪声与图像输出之间的加性校正关系, 建立了描述条纹噪声的数学模型; 通过滤波算法将图像分为高频分量和低频分量, 运用建立的条纹噪声模型, 基于最小二乘法从高频部分中拟合出条纹噪声。最后, 使用全变分理论确定的加性关系对图像进行校正。为了提高算法的计算速度, 运用多线程技术对算法进行了优化。对提出的算法与MIRE(Midway Infrared Equalization)算法及传统双边滤波算法进行了图像质量评价和性能对比。结果显示: 本文算法使图像非均匀性较原图降低了3%; 算法效率与MIRE算法无异, 系统运行时间在320×256的14位红外图像上为1.5 ms/frame, 达到了工程标准。

为解决低对比度、低信噪比、目标旋转、缩放等非理想状态给跟踪算法的研究带来的诸多困难,本文提出灰度图像多特征融合目标跟踪算法, 保证在满足工程实践需要的条件下, 能够对目标进行稳定的跟踪。算法首先对灰度图像利用Sobel算子求出梯度特征, 将X、Y双方向的梯度特征与灰度特征相融合得到新特征, 新特征在核密度函数下对低对比度, 目标轮廓形状变化较大的情况有较高的适应性和稳定性, 再利用背景建模的方法对提取的运动目标区域进行加权, 降低非跟踪目标的权值, 最后对融合后的加权特征目标利用改进MeanShift算法进行跟踪。通过大量的实验表明, 该算法适应目标和背景的复杂变化,并且具有较强的鲁棒性, 基本满足在复杂背景灰度图像下目标跟踪的工程实际需求。