1 湖北工业大学现代制造质量工程重点实验室, 湖北武汉 430068
2 华中科技大学数字制造装备与技术国家重点实验室, 湖北武汉 430068
对于背景变换和抖动分量比较小的视频序列, 传统稳像算法不能直接适用, 本文提出一种基于 Harris图像拼接的全景稳像算法。首先采用 Prewitt算子提取出图像的边缘信息, 在此基础上进行分区的 Harris特征点检测; 然后结合 NCC(normalized cross correlation)算法与 RANSAC(random sample consensus)算法实现图像间的特征点精确匹配, 接着利用加权平均融合的方法进行图像融合; 最后对融合后的全景图像进行剪裁, 完成图像补偿, 输出稳定的视频序列。实验结果表明: 改进的 Harris算法提高了算法效率以及正确特征点数量, 并且本文稳像算法实时性较好, 能够有效消除视频抖动并输出稳定的视频序列。
图像拼接 全景稳像算法 Harris特征点检测 图像补偿 image stitching panoramic image stabilization algorithm Harris feature point detection image compensation
1 西安工业大学光电工程学院, 陕西 西安 710021
2 西安工业大学电子信息工程学院, 陕西 西安 710021
3 西安工业大学机电工程学院, 陕西 西安 710021
火炮**瞄准镜标定的性能指标好坏直接影响首发命中概率,为了提高火炮稳像标定精度,建立了一种拟合标定模型。构建融合频域滤波的阈值分割模型消除成像灰度级不均匀的影响,构建长直线拟合模型实现火炮稳像靶心的标定,构建标定定位轴模型实现稳像精准标定检测。所提方法可有效地消除成像灰度级不均匀现象,具备较好的分割去噪效果,横纵向标定长直线的拟合相关系数分别为0.995646和0.993913,横纵向坐标标定误差分别为小于等于0.15%和小于等于0.005%。实验结果表明,所提标定方法可精准地实现火炮瞄准镜的标定检测。
图像处理 火炮稳像标定 阈值分割 拟合模型 标定轴模型 光学学报
2021, 41(15): 1510001
1 上海第二工业大学 工程训练中心,上海 201209
2 中国科学院上海技术物理研究所 中国科学院红外探测与成像技术重点实验室,上海 200083
针对由于视差变化而导致的红外视频稳像技术难题,文中提出了一种基于联合相机路径的红外视频稳像算法,该算法主要包括:预处理、联合相机路径求解、多路径优化、运动补偿四个步骤。首先,要对红外图像进行直方图均衡化、特征点提取和匹配处理、预映射。接着,要将每帧图像分为m×n个网格单元,利用基于网格的映射运动表征,将每一帧中对应网格得到的局部单应性矩阵进行相乘得到联合相机路径。然后,对联合相机路径采用“多路径优化”策略进行平滑处理。最后,利用平滑后路径进行运动补偿稳定视频。实验结果表明,该方法能有效地处理由于视差而引起的非线性运动,相比传统的稳像算法效果更好,当特征点存在部分遮挡时,也能取得不错的稳像效果。
视频稳像 视差 网格单元 多路径 非线性 video image stabilization parallax grid unit multi-path nonlinear 红外与激光工程
2021, 50(6): 20200405
大连海事大学信息科学技术学院,辽宁大连 116026
飞机飞行过程中产生的颠簸、晃动会使得采集到的红外图像序列存在抖动,影响后续对红外图像的观察,不利于对红外图像目标的识别、定位与跟踪。本文提出了一种基于改进的 Harris角点法对机载红外图像进行实 时电子稳像的方法。首先采用改进的 Harris角点响应函数结合距离约束条件进行角点检测,该方法保证即使对图像质量较差的红外图像,也能检测出数量足够且分布均匀的角点;然后基于检测出的角点利用提出的关键帧参 考方式结合多尺度的金字塔光流算法进行跟踪匹配,完成运动估计,进而实现对机载红外图像的电子稳像。用该方法对多组含有抖动的 640×512尺寸的红外图像序列进行稳像处理,实验表明,本文提出的算法与传统的 Harris角点检测算法相比有更好的检测效果,能够很好地去除红外机载图像序列的抖动,且能够满足 50 fps采集速率下的实时处理。
电子稳像 机载红外稳像 Harris角点检测 距离约束条件 electronic image stabilization, airborne infrared
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 中国科学院大学, 北京 100049
针对大口径空间天文望远镜稳像精度测试的难题, 提出了一种高时空分辨率运动导星模拟方案。利用硅基液晶作为运动导星模拟源, 结合光束准直系统为空间天文望远镜提供无穷远运动导星, 并且通过在光路中加入物镜来提高模拟导星的运动分辨率。针对望远镜像面结构的特殊分布, 提出利用多路模拟的方法, 分别为望远镜两侧精密导星仪以及巡天像面提供实时运动导星。最后, 对影响运动导星模拟精度的各项误差进行分析, 进而建立了误差模型。仿真结果表明: 在运动导星模拟精度优于0.5″的概率为95%, 时间分辨率为3 ms的前提下, 动态星图星间角距误差小于0.04″, 单星张角小于0.02″。通过实验验证了导星模拟模型的正确性, 该模型基本满足空间天文望远镜稳像精度测试所需运动导星目标高时空分辨率的要求。
空间望远镜 运动导星 稳像精度 硅基液晶 物镜 误差模型 space telescope moving guide star image stability accuracy liquid crystal on silicon objective lens error model
1 上海交通大学1. 微米/纳米加工技术国家级重点实验室
2 2. 电子信息与电气工程学院 微纳电子学系, 上海 200240
提出并设计了一套应用于小尺寸、高频抖动的微型仿生扑翼飞行器的实时视觉系统, 包括构成硬件基础的微型摄像头模块、5.8GHz传输模块和无线图传接收模块, 以及构成软件模块的两种算法, 其中一种是利用角点检测与LK光流法、基于卡尔曼低通混合滤波的实时电子稳像去抖算法, 另一种是基于YOLOv3的人像识别算法。进行了微型仿生扑翼飞行器的飞行硬件搭载测试实验, 实验结果表明, 所提出的电子稳像算法可以去除x轴66.56%、y轴73.15%的抖动, 人像识别算法可以达到96%以上的准确率, 同时图传分辨率在720×480像素时, 稳像去抖算法时延为6.33ms, 人像识别算法时延为20.5ms, 总时延满足实时要求, 完成了实时去抖与人像识别系统的设计目标。
微型扑翼飞行器 实时电子稳像 卡尔曼滤波 实时人像识别 FMAV real-time video stabilization Kalman filtering real-time person recognition YOLOv3 YOLOv3
1 中国计量大学光学与电子科技学院, 浙江杭州 310018
2 国家海洋局南海维权技术与应用重点实验室, 广东广州 510310
针对平台运动导致的视频抖动问题, 提出了一种基于光流传感器的视频稳像技术。该方案首先通过对一般光流传感器的改进, 使其具有旋转运动下输出准确运动矢量的能力, 然后利用光流传感器获得相邻两帧图像之间的运动矢量, 并通过坐标变换计算出主相机的实时平移和旋转信息; 其次, 对原视频图像序列进行运动补偿, 以获得稳定的图像序列, 最终实现了视频稳像。实验结果表明, 稳像后的图像序列与未稳像之前相比峰值信噪比提高了 11.86 dB。该方案在视频抖动较大的情况下, 能够明显减小图像序列的抖动现象, 具有稳像效果好的特点, 满足视频稳像的性能要求, 对提高平台抗扰能力有着较高的实用性。
电子稳像 运动补偿 光流传感器 旋转运动 electronic image stabilization motion compensation optical flow sensor rotational motion
1 中国科学院沈阳自动化研究所,辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110016
3 中国科学院光电信息处理重点实验室,辽宁 沈阳 110016
4 中国科学院大学,北京 100049
气流随机冲击引起的姿态扰动是飞行器光电系统的主要扰动源,在系统自身转轴摩擦和质量不平衡等因素的作用下,严重影响了光电系统视轴稳定性。为了有效抑制扰动力矩的影响,建立了外俯仰、内方位两轴光电系统动力学模型,给出了扰动因素和运动耦合综合作用下的扰动传递关系。根据系统动力学模型,提出了扩展卡尔曼滤波扰动力矩估计方法,并构建扰动力矩前馈控制回路,实现了对扰动力矩的实时补偿,大大提高了光电系统的稳像控制精度。利用飞行模拟转台对某两轴光电系统进行了半实物仿真实验,结果表明: 在幅值为1°、频率为2 Hz的载体扰动条件下,采用前馈补偿方法系统俯仰和方位框架的视轴稳定精度均方根值分别达到0.026 4 mrad和0.029 0 mrad,相比扰动观测器控制方法分别提高了64.1%和69.6%。
视轴稳定 光电稳像平台 扩展卡尔曼滤波 前馈补偿 line-of-sight stabilization opto-electronic stabilized platform extended Kalman filter feed-forward compensation 红外与激光工程
2019, 48(10): 1013008
北京空间机电研究所中国空间技术研究院天基空间目标监视技术核心专业实验室,北京 100094
精导星传感器广泛地应用于空间红外天文望远镜中,它利用光学系统的长焦距及相关算法获得高精度像移,实时地为精密稳像控制系统提供补偿信息。本文详细介绍了精导星传感器的设计过程:设计了与载荷共光路的光学系统成像方案,选择了适合在深低温环境下工作的碲镉汞探测器作为精导星传感器(Fine Guidance Sensor,FGS)探测器,采用基于专用集成电路(Application Specific Integrated Circuit,ASIC)的前置电路代替了传统印刷电路板(Printed Circuit Board,PCB)电路,设计了科学观测中的精导星功能;为了满足精导星传感器高精度实时检测的需求,选择 ROI-IDFT矩阵乘法运算对相关峰及其附近区域进行变换,避免冗余计算,降低了运算量。最后,本文总结了精导星传感器在工程实现中亟待解决的关键技术以及应用前景。
精密稳像 低温前置电路 精导星 亚像素质心细分算法 空间红外天文望远镜 line of sight stabilization,fine guidance sensor
南京航空航天大学自动化学院, 江苏南京 210016
现今的特征点轨迹稳像算法都是基于网格变形达到稳定视频的最终目的, 而保证结果不扭曲失真且稳定的网格变形需要由一定数量的长特征轨迹通过相应最优算法来实现。目前所提出的算法无法在保证良好时间性能下达到这一要求, 针对这个问题, 提出一种基于特征点轨迹增长的视频稳像算法。首先提取特征轨迹, 为避免算法优先选择较长轨迹而导致轨迹分布过于集中造成局部抖动的问题出现, 将特征点位置分布与轨迹长度相结合作为选择策略使特征点轨迹分布更加均匀; 接着利用低秩矩阵迭代逼近原理生成虚拟轨迹来实现轨迹增长; 最后利用网格变形生成稳定帧。将本文的算法与另外两种典型的特征点轨迹稳像算法相比较, 其中包括基于对极几何点转移的稳像算法以及基于三焦点张量重投影的特征点轨迹稳像算法。实验结果表明, 本文算法的特征点分布均匀且轨迹利用率高, 与基于对极几何点转移的稳像算法相比, 稳像效果更稳定并且时间复杂度更低, 与基于三焦点张量重投影的特征点轨迹稳像算法相比, 在保证稳像效果的同时时间复杂度更低。
视频稳像 轨迹增长 低秩矩阵 轨迹利用率 video image stabilization trajectory augmentation low rank matrix trajectory utilization