针对手持移动摄像装置拍摄视频序列相邻帧间存在平移、小角度旋转运动, 而且易受噪声、光照变化的影响等问题, 提出一种基于优化Oriented FAST and rotated BRIEF(ORB)特征匹配的实时鲁棒电子稳像算法。对相邻帧预处理后用Oriented FAST算子检测特征点, 再用Rotated BRIEF描述提取的特征点并采用近邻汉明距离匹配特征点对, 然后采用级联滤波去除误匹配点对, 最后使用迭代最小二乘法(ILSM)拟合模型参量进行运动补偿实现稳像。图像匹配测试和稳像实验结果表明: 基于改进的ORB算法的电子稳像方法补偿每一帧的时间均小于0.1 s, 定位精度可达亚像素级, 能有效补偿帧间平移旋转运动, 而且对噪声和光照变化有较强鲁棒性。经稳像处理后, 实拍视频质量明显提高, 峰值信噪比(PSNR)平均提高了10 db。

提出了一种基于投影最大特征峰匹配的稳像算法来进一步提高灰度投影稳像算法的实时性。首先, 将参考帧与当前帧图像等分为若干区域子块, 根据灰度投影计算公式分别计算每个子块的水平投影和垂直投影; 依次计算两帧图像相应子块中对应的垂直和水平投影最大特征峰的位置差值, 作为相应子块的水平和垂直运动矢量。然后, 根据帧间运动矢量变化程度进行运动矢量修正。最后, 根据各子块的运动矢量统计结果进行全局运动估计。将该最大特征峰匹配算法运用到多光谱成像系统进行实验, 并与较经典的灰度投影算法做了比较。结果表明: 在保证相同的稳像效果前提下, 对于分辨率为1 024 pixel×1 024 pixel的图像序列在(-60, 60)搜索范围内进行运动估计时, 前者比后者的运算时间节省了近20%。提出的算法突破了现有投影稳像算法需要对可能的区域逐一搜索的繁琐匹配过程, 具有较好的实时性和良好的稳像效果。

考虑全局运动估计算法对电子稳像系统准确性和实时性的影响，提出了改进Noble算子匹配的电子稳像算法。该算法通过区域预选、特征匹配、参数求解和运动补偿四步操作稳定抖动视频。首先，根据全局运动一致性的特点，采用子块间的绝对差值提前剔除部分不可靠区域，并改进传统Noble算子的全局阈值部分，根据区域梯度均值自适应调整阈值，检测各保留区域的角点，以保证图像特征的空间均匀性分布; 其次，根据特征点的邻域信息构造梯度方向描述子进行粗匹配运算，并利用最近邻次近邻比率和均值距离准则两步操作优化匹配集合; 然后，结合运动模型求解全局参数; 最后，选择卡尔曼滤波过程完成抖动图像的补偿处理。Matlab仿真结果证明: 该算法能平均提高峰值信噪比2 dB以上，当旋转角度小于5°时性能更为优异，能准确、快速地稳定视频图像。

针对存在大的旋转抖动和大的运动前景的视频，提出了一种快速电子稳像方法。由于现有圆周投影法在估计图像大角度旋转运动时鲁棒性较差，故对算法进行了改进以提高投影相关匹配时的准确性。考虑常用的稳像算法难以处理含较大或较多运动前景的抖动视频，提出一种基于图像位平面金字塔的自适应取块平移运动估计方案; 该方案可根据块匹配结果的统计特性决策最优取块模式，最大程度地避免运动前景对运动参数估计的干扰。最后，引入一种自适应分组的限幅加均值复合滤波方式，一方面通过限幅滤波修正帧间错误运动估计，另一方面自适应分组确定滤波窗口以达到较佳运动平滑效果。实验结果表明: 改进的圆周投影法旋转估计的准确性和稳健性均有提高; 自适应取块的平移运动估计方案能够准确估计较大运动前景抖动视频的运动参数，同时也适用于灰度特征不丰富的抖动视频; 稳像的信噪比峰值可达31.08 dB。

针对摄像机拍摄目标过程中自身的随机抖动造成的视频序列不稳定，以及稳像补偿过程中边缘信息的丢失，提出了基于SURF(Speed-up Robust Feature)算法的全景电子稳像方法。首先，运用SURF算法提取当前帧图像和参考帧图像的兴趣点，将两幅图像的兴趣点进行匹配，建立两帧的对应关系。针对兴趣点数目较少及场景中部分区域特征相似的情况，引入了兴趣点位移一致性抑制策略，改进了RANSAC(RANdom SAmple Consensus)误匹配的剔除算法，使得运动矢量的精确度小于1 pixel。然后，判定参考帧的更新策略，获取平滑的运动变量。最后，进行运动补偿，运用图像镶嵌技术对丢失的边缘区域信息进行全景补偿，得到了高精度的全景稳像结果，实验得到的输出视频峰值信噪比(PSNR)提高了33.1%。

针对视频序列受载体的影响, 本文提出了基于 Harris局部特征点的数字稳像方法。局部特征点在图像处理、模式识别、计算机视觉以及目标检测与跟踪领域得到了广泛的研究。首先, 利用 Harris算法提取动载体摄像系统中每帧图像的局部特征点, 采用基于归一化互相关匹配算法进行局部特征点的匹配, 提出了一种双向搜索的匹配策略来提取具有较强鲁棒性的特征点; 然后, 利用随机抽样一致算法进一步筛选所选定的特征点, 并将保留下来的精确匹配特征点带入仿射运动模型求出全局运动矢量; 最后, 提取全局运动矢量中的抖动参数, 并对原始图像进行补偿。实验结果表明, 该方法可以快速有效地处理图像序列的仿射运动, 水平和垂直方向的精确度小于 1 pixel, 并且具有较好的鲁棒性, 可用于动载体摄像系统。

针对视频抖动和电子稳像的实时性, 提出了基于SURF的电子稳像算法。首先, 采用SURF算法检测图像的兴趣点, 建立了当前帧与参考帧的对应关系, 得出高精度的运动估计矢量。然后, 通过判定参考帧更新策略, 获得平滑的帧间全局运动矢量, 进而对原始视频序列进行运动补偿。最后, 将参考帧对应区域像素填充到稳像帧丢失像素区域进行全帧频补偿, 输出高精度的实时全帧频电子稳像视频。实验结果表明, 采用SURF算法的实时电子稳像算法, 运行时间<30 ms, 精确度<1 pixel,对存在严重运动模糊的视频具有较强的鲁棒性, 可以去除帧间高频抖动并有效改善视频质量。

针对包含运动物体视频序列的稳像问题，提出了一种基于运动目标检测的数字稳像算法.该算法运用估计的全局运动参数补偿帧间全局运动，得到运动补偿前帧和当前帧的差值图像，并将差值图像分割成一系列的前景块和背景块，仅跟踪背景块来估计下一轮的全局运动参数.仿真结果表明，提出的稳像算法不仅计算复杂度低，而且估计的全局变换参数具有相当高的帧间变换保真度，可以用于占据半个像面的动目标的视频序列.

提出用粒子滤波器来实现视频序列的稳像,解决了视频序列的帧间不稳定问题。提出的稳像算法从视频图像中提取角点特征,建立当前帧与参考帧之间的映射关系,然后根据仿射变换模型求取最小二乘解来获得帧间的全局运动参数,最后利用粒子滤波平滑运动参数,实现帧间的实时运动补偿。对包含80帧场景的视频序列进行了实验,稳像后视频序列的平均峰值信噪比比稳像前提高了24.88,同时稳像精度＜1 pixel,处理时间＜30 ms。实验结果表明,本文算法能有效地改善图像质量,在去除高频抖动的同时能较好地保留摄像机的主动运动,稳像效果良好。

针对在一些实际应用场合摄像机设备的震动造成的视频序列失稳,提出了一种基于形态学边缘模式匹配的数字稳像方法。该方法首先利用形态学方法提取视频图像边缘,然后利用当前帧子块与参考帧子块的边缘进行特征匹配,以确定当前帧子块相对于参考帧的局部运动矢量。对得到的局部运动矢量进行分析判决,以确定该局部运动矢量是否为真正的抖动偏移量,消除视频帧本身因存在局部运动目标、低对比度、纹理区域等因素对全局运动矢量估计的影响;最后,通过判别确认的局部运动矢量确定全局运动矢量并进行运动补偿,实现数字稳像。仿真实验表明,由于该方法的块局部运动矢量采用1 bit边缘进行最大相关值估计,因而复杂度低,而采用异常情况判决准则消除了其对真正运动矢量估计的影响,稳像精度高,可应用于因摄像头平移震动等因素造成的视频序列失稳。