飞机飞行过程中产生的颠簸、晃动会使得采集到的红外图像序列存在抖动，影响后续对红外图像的观察，不利于对红外图像目标的识别、定位与跟踪。本文提出了一种基于改进的 Harris角点法对机载红外图像进行实 时电子稳像的方法。首先采用改进的 Harris角点响应函数结合距离约束条件进行角点检测，该方法保证即使对图像质量较差的红外图像，也能检测出数量足够且分布均匀的角点；然后基于检测出的角点利用提出的关键帧参 考方式结合多尺度的金字塔光流算法进行跟踪匹配，完成运动估计，进而实现对机载红外图像的电子稳像。用该方法对多组含有抖动的 640×512尺寸的红外图像序列进行稳像处理，实验表明，本文提出的算法与传统的 Harris角点检测算法相比有更好的检测效果，能够很好地去除红外机载图像序列的抖动，且能够满足 50 fps采集速率下的实时处理。

提出并设计了一套应用于小尺寸、高频抖动的微型仿生扑翼飞行器的实时视觉系统, 包括构成硬件基础的微型摄像头模块、5.8GHz传输模块和无线图传接收模块, 以及构成软件模块的两种算法, 其中一种是利用角点检测与LK光流法、基于卡尔曼低通混合滤波的实时电子稳像去抖算法, 另一种是基于YOLOv3的人像识别算法。进行了微型仿生扑翼飞行器的飞行硬件搭载测试实验, 实验结果表明, 所提出的电子稳像算法可以去除x轴66.56%、y轴73.15%的抖动, 人像识别算法可以达到96%以上的准确率, 同时图传分辨率在720×480像素时, 稳像去抖算法时延为6.33ms, 人像识别算法时延为20.5ms, 总时延满足实时要求, 完成了实时去抖与人像识别系统的设计目标。

针对平台运动导致的视频抖动问题, 提出了一种基于光流传感器的视频稳像技术。该方案首先通过对一般光流传感器的改进, 使其具有旋转运动下输出准确运动矢量的能力, 然后利用光流传感器获得相邻两帧图像之间的运动矢量, 并通过坐标变换计算出主相机的实时平移和旋转信息; 其次, 对原视频图像序列进行运动补偿, 以获得稳定的图像序列, 最终实现了视频稳像。实验结果表明, 稳像后的图像序列与未稳像之前相比峰值信噪比提高了 11.86 dB。该方案在视频抖动较大的情况下, 能够明显减小图像序列的抖动现象, 具有稳像效果好的特点, 满足视频稳像的性能要求, 对提高平台抗扰能力有着较高的实用性。

车载红外全景扫描成像系统具有每列单独成像、360°全方位视场覆盖的特点, 从而导致传统的电子稳像算法无法直接适用, 因此, 提出一种基于区域分割与融合的全景稳像算法。首先, 通过局部列偏移调整方法对图像预补偿。接着, 以车头前进方向为基准, 对全景图像进行区域分割, 即前端、右端、后端、左端区域。然后, 根据各区域的成像特点, 选择不同的稳像模型进行稳像, 其中, 运动估计环节采用滑窗策略缩短运算时间, 运动补偿环节采用未定义区重构方法弥补边界缺失信息。最后, 利用局部区域扩展、渐入渐出加权平均融合方式对重叠区域进行区域拼接、融合, 保证全景图像无缝拼接。实验结果表明: 该算法有效解决了车体行进过程中红外全景扫描系统的稳像问题, 稳像关键指标——帧间峰值信噪比(PSNR)可以提高14.7%, 运行时间可缩短为传统算法的1/10, 基本满足了工程应用的需求。

为解决稳像过程中局部运动分量导致的全局运动估计不准确问题, 提出了一种实时电子稳像方法.该方法提出基于最小生成树的特征点迭代筛选算法, 采用相邻帧图像特征点最小生成树的相似度衡量特征点匹配精度, 剔除错误匹配的特征点和局部运动前景上的特征点, 避免了局部运动分量的影响. 采用自适应加权法修正相邻帧之间的仿射变换矩阵, 解决由于运动前景遮挡造成的背景特征点数量稀少进而导致的稳像晃动问题. 针对相机跟拍与随机抖动分量混合问题, 提出基于运动矢量队列的双卡尔曼滤波器, 自适应地修正卡尔曼滤波器的测量噪声协方差, 动态调整滤波平滑性能, 有效处理同时包含相机跟拍运动与随机抖动分量的视频, 保留相机跟拍分量.实验表明, 该方法对于视频图像中包含局部前景运动和相机跟拍运动的情况, 对比其他3种方法, 仍可以保持良好的稳像效果; 在Intel Core i5 3.30 GHz CPU下, 对于640×360分辨率的彩色图像序列可达到40FPS的稳像帧率, 并且运算过程中无需利用下一帧图像信息, 具有实时稳像的优点.

车辆行驶产生的颠簸、晃动, 会严重影响红外激光车载云台采集视频的质量, 不利于信息的观察和判读。为了改善视频质量, 提出一种实时有效的车载电子稳像方法。首先, 用非线性扩散滤波建立尺度空间, 使视频帧在无损精度的前提下突出边缘信息; 然后, 采取图像亮度信息与梯度信息相结合的特征提取策略,利用图像亮度信息快速搜索潜在特征点并记录其位置, 并通过分析其梯度信息与预判条件的对比结果来选取优质特征点, 在特征描绘阶段, 通过增强二值特征描绘器之间的显著性和差异性, 提升特征量的辨别力; 最后, 通过位置验证辨别相似特征, 提高全局运动矢量估计精度。时间比对实验表明提出的算法能够满足实时处理的要求,在分辨率为720 P时也能达到每秒处理帧频大于60帧; 有效能力对比实验中, 新方法的重复度均高于65%, 明显提高了特征探测能力, 并且在加入去抖动设计后6组实验的帧间转换精度分别提升了46.8%、30.8%、28.44%、28.1%、33.9%和53.4%, 表明该方法极大地改善了抖动视频的稳定性和视频信息提取的准确度。

针对船载精密成像系统在船体晃动时产生的杆臂牵连平动和等效圆锥旋转, 提出了一种将惯性量测信息引入电子稳像技术对耦合干扰进行补偿的方法。首先, 基于俯仰-偏航式光学稳定平台分析其在视线稳定过程中所产生的等效圆锥旋转, 推导了视线旋转角与平台转角之间的数学关系。然后, 分析了杆臂牵连平动对像点虚化的影响, 并结合圆锥旋转构建了耦合扰动模型; 针对耦合扰动模型提出利用惯性测量信息复合电子稳像的方法来实现低特征背景下的高精度稳像。最后, 通过半实物仿真验证了该方法在低特征环境中的成像稳定精度和实时性。结果显示: 提出的方法能够有效补偿俯仰-偏航式稳定平台转动以及船体晃动时形成的耦合干扰, 在低特征环境中具有较高的成像稳定精度和实时性, 修正误差为亚像素级。图像稳定后的峰值信噪比平均提高了4 dB, 基本满足船载光学精密探测系统对实时性、精度、抗干扰能力和稳定性的要求。

为了消除载体姿态变化和振动造成的视频抖动,提出了一种机载摄像系统的电子稳像算法。将图像分为若干个块,每个块中取一个点作为特征点,采用块匹配算法在局部区域进行特征点匹配,然后利用改进的随机一致性检测算法剔除误匹配的特征点,最后采用卡尔曼滤波算法对图像的运动参数进行滤波,得到稳定后的视频图像。该算法时间复杂度和空间复杂度低,便于在硬件平台上实现,实验结果表明,该算法稳像精度高,精度达到1个像素,适应性好,能较好地实现图像序列稳定。

电子稳像可有效减轻或消除有/无人机侦察、导弹末端制导、视频监控过程中产生的视频抖动。针对视频帧补偿过程中出现大幅度失稳帧的情况提出了一种视频补偿方法,首先利用平移运动模型估计全局位移和图像重叠区域,使用帧差法检测出运动目标区域,之后建立仿射变换模型提取了图像帧的ORB特征点,消除了位移过大或过小的匹配点、位移图像非重叠区域内的匹配点、运动目标上的匹配点、有线段交叉的匹配点。实验证明,该方法可有效消除视频稳像过程中的大幅度失稳帧,提高了视频补偿的精度。

采用MPU-6050 MEMS 陀螺仪和Xilinx FPGA 实现了一套实时电子稳像系统。该系统可对视频序列中的横向、纵向以及旋转方向的非意向运动（抖动）进行有效补偿，并保留操作者的意向运动。针对PAL 视频时，补偿范围为横向±240 像素，纵向±240 像素，旋转±45°，系统延时小于20 ms。给出了实现过程、硬件使用情况以及实验效果。