空间相机像移探测方法的研究进展 下载: 938次
1 引言
光学遥感卫星作为对地观测的重要载体,被广泛应用于**侦察和国民经济中的各个领域,具有巨大的**价值和经济效益,在美国、俄罗斯等国家受到了高度重视[1],中国也将其列为《国家中长期科学和技术发展规划纲要(2006~2020年)》的重大专项之一[2]。
空间相机搭载于光学卫星平台上,随着空间相机地面分辨率的不断提高,增长焦距已成为空间相机的主要发展方向之一。遥感科技强国相继研制出了长焦距高分辨率空间相机[3-6],我国也正致力于长焦高分辨率相机的研制[7],如中国科学院长春光学精密机械与物理研究所(简称长光所)在研的空间站多功能光学设施的焦距预计长达20 m。空间相机焦距的加长有助于提高地面分辨率,但同时也给空间相机的研制带来了更大的挑战。
像移是目标在焦面上映射的像与焦面之间的相对运动,是影响空间相机成像质量的关键因素之一[8]。尤其以时间延迟积分(TDI)电荷耦合元件(TDICCD)成像传感器为探测器的空间相机,像移不仅会引起图像模糊,更会导致图像发生几何形变[9]。
像移的形成因素主要包括卫星沿轨道运动、地球自转、卫星姿态变化和颤振等[10],与其他因素不同,颤振是一种横跨上千赫兹的超宽频带运动[11-14]。其中,幅值较大、频率较低的颤振可以通过调姿机构进行补偿,一定频率以上的颤振可以通过隔振装置进行抑制,经过调姿机构和隔振装置的颤振补偿和抑制,大部分颤振会被抑制掉,但仍有部分残余颤振,这些颤振表现出幅值小、频带宽、随机性大的特点,并通过卫星平台传递给空间相机,使空间相机随之振动,使相机焦面不稳定,最终导致目标在焦面上的像与焦面之间存在相对运动[15]。根据空间相机的成像原理,焦距越长,同等幅值的颤振引起的像移幅值越大,对像质的影响越严重。对于短焦相机而言,由颤振引起的像移幅值很小,对像质的影响可以忽略;而对于长焦相机,颤振则会引起较大幅值的像移,对像质有较为严重的影响[10]。可见,对于长焦距高分辨率空间相机而言,由颤振引起的宽频带像移对像质的影响不容忽视。
像移测量是实现像移补偿,进而削弱像移对像质影响的首要前提[16]。随着空间相机焦距的不断加长,由颤振引起的像移对像质的影响越来越严重,而这部分像移占据的频带超宽,测量难度较大,如何有效探测由包含颤振在内的多种因素引起的宽频带像移已经成为近年来关注的焦点[17]。目前新提出的像移探测方法尚未成为宽频带像移探测的有效手段。
本文总结了像移探测方法的发展历程,以不同层面的像移探测需求为导向,梳理像移探测方法的发展脉络,将像移探测历程划分为基于工程参数的像移计算、基于联合相关器的像移估计和基于遥感图像的像移探测3个阶段;客观分析了每个阶段所解决的问题及面临的瓶颈;结合空间相机的发展趋势,剖析了目前像移探测方法中迫切需要解决的关键问题,试图为宽频带像移探测提供一种研究思路。
2 基于工程参数的像移计算方法
地面上的物点经过光学系统最终映射在相机焦面上,形成像点。像点与物点的空间位置之间存在一定的映射关系,研究者们通过建立像点与物点的坐标变换公式,定量描述两者之间的空间位置关系,并结合轨道参数、星下点经纬度、卫星三轴姿态角及角速度等实时信息(统称为工程参数),由物点的地理坐标计算像点在焦面上的运动轨迹。
Miller等[18]首次提出了像点与物点坐标变换公式的推导方法,但公式中不包含由星下点纬度变化引起的像移,准确度相对较低。为了得到更精确的坐标变换公式,王家骐等[19]将像点与物点的空间位置关系进一步细化,根据地面上的物点到焦面上像点的映射过程,构建了由地心惯性坐标系、地球坐标系、地理坐标系、轨道坐标系、卫星坐标系、相机坐标系、焦面坐标系构成的坐标体系,利用齐次坐标变换方法建立了像点与物点的坐标变换公式,如
图 1. 基于工程参数的像移计算框图
Fig. 1. Flow chart of image motion calculation based on engineering parameters
式中:
在此基础之上,长光所的闫得杰等[20-21]在像移测量误差、像移计算复杂度等方面对模型进行了改进,使像移测量误差在允许范围内,计算耗时大幅缩短。
作为像移计算的必需数据源,轨道高度、星下点经纬度,以及卫星位置、姿态角、角速度等工程参数可通过全球定位系统(GPS)、陀螺和星敏感器等手段获取,其中GPS用于测量卫星位置,陀螺和星敏感器用于测量卫星姿态数据。
表 1. 几种卫星对卫星位置和姿态数据的采样频率
Table 1. Sampling frequencies of attitude and position for several satellites
|
根据奈奎斯特采样定理可知,采样得到的数字信号对原信号的还原程度与采样频率有关,原信号中大于采样频率二分之一的频率成分难以还原[27]。由此可推测,作为探测像移的必需数据,轨道参数和姿态数据等工程参数的带宽受到全球定位系统、卫星姿态传感器等设备的测量带宽的限制,严重制约了基于工程参数方法的像移带宽的测量[15]。
为了进一步证明基于工程参数的方法在像移探测带宽方面的局限性,以中国XX-1号可见光详查相机为例予以说明,该相机将基于工程参数的像移计算模型固化到微处理器中,实现了在轨实时像移获取。在北纬38.84°~39.45°升轨阶段持续30 s的拍摄任务中,相机每512 ms更新一次工程参数,利用工程参数探测到了0.14 Hz的像移,像移测量结果如
图 2. XX-1号可见光详查相机像移探测结果。(a)时域曲线;(b)幅频曲线
Fig. 2. Image motion measurement results for XX-1 visible camera. (a) Time-domain curve; (b) amplitude-frequency curve
图 3. XX-1号可见光详查相机于2012年5月6日16:20拍摄的遥感图像。(a)耕地;(b)房屋
Fig. 3. Remote sensing images obtained by XX-1 visible camera at 16:20 on May 6, 2012. (a) Arable land; (b) tenement
综上所述,虽然基于工程参数的像移计算方法在低频像移计算方面取得了理想效果,但卫星上搭载的GPS接收器和姿态传感器等设备的采样频率较低,限制了工程参数的带宽,进而制约了像移带宽的测量,使该方法尚未成为高频像移探测的有效手段。
3 基于联合相关器的像移估计方法
随着空间相机地面分辨率的不断提高,相机焦距不断加长,由颤振引起的高频像移也可能对相机的成像质量造成严重影响,基于工程参数的低频像移计算方法越来越不能满足高频像移探测的需求。
为了突破工程参数的带宽对像移测量带宽的限制,相关学者提出了一种宽频带像移探测思路:对同一目标进行多次分时拍摄并形成多帧图像,因像移会引起同一目标在多帧图像内的位置变化,故可以利用图像处理手段分析目标在多帧图像中的相对位移,并将该相对位移近似为像移。帧频越高,采样频率越高,根据奈奎斯特采样定理,像移的最高可测频率就越大,相当于像移的测量带宽越宽。
根据上述假设,学者们把关注的焦点聚集在面阵成像传感器上,其不仅能够对地物进行高帧频成像,而且多帧图像之间存在较大的重叠区域,通过成像过程,能够实现对像移的高帧频抓拍,使高频像移被完全记录在图像中,进而通过图像分析手段反演像移。
Tchernykh等[28]在卫星焦面上主成像传感器周围增加辅助的面阵成像传感器,从而获得具有较多重叠区域的图像序列,并首次运用光学透镜组成联合变换器(JTOC),实现对图像序列的快速相关匹配,求取同一目标在重叠图像序列中的相对位移,并以该相对位移作为像移的近似值。运用联合变换器巧妙地解决了当时电子学处理器速度低、实时性差的问题[28]。为此,将这种方法命名为基于联合相关器的像移估计方法,具体流程如
戴朝约等[29]分别通过改进的投影算法、双三次样条插值、双相位编码等方式,提高像移测量的准确度。此外,为了验证方法的有效性,樊超等[30]对联合相关器法进行了半实物静态仿真实验,并对景物内容、像移大小、寻质心窗口尺寸等因素对像移测量精度的影响进行了分析。
基于联合相关器的像移估计方法通过在焦面上增设面阵成像传感器,实现高帧频成像,并通过成像过程将高频像移记录在图像序列中,进而结合一定的图像分析手段反演像移,摆脱了对工程参数的依赖,从而突破了工程参数本身的带宽对像移测量带宽的限制,解决了传统方法像移测量带宽低的问题。此外,测量位置在焦面处,更能反映焦面像移的真实状态[16]。但是,在低轨高速运行环境中,空间相机与地面景物之间存在较大的相对速度,采用面阵成像传感器拍照会出现拖尾、混叠、模糊和信噪比低等问题[31],影响空间相机的成像质量,导致像移测量精度难以保障,因此,基于联合相关器的像移估计方法尚不适用于低轨高速运行的高分辨率光学卫星。
4 基于遥感图像的像移探测方法
基于联合相关器的像移估计方法验证了从图像中反演像移的可行性,但在低轨高速环境中面阵成像传感器的信噪比低,导致这种方法并不适用于低轨运行的高分辨率相机。于是,相关学者们开始尝试采用信噪比更高的快速成像传感器代替面阵成像传感器。
TDICCD以多次曝光电荷的累加结果作为输出,成像信噪比远高于面阵成像传感器,能够适应低轨高速运行环境[31]。更重要的是,TDICCD的行扫描频率明显高于面阵成像传感器的帧频,该行扫描频率与轨道高度有关,典型的取值约为10 kHz[32],在如此高的扫描频率下,像点的运动轨迹能够被完全记录在重叠图像中,像移的最高可测频率可达5 kHz(奈奎斯特采样定理)。高频像移主要来源于卫星颤振,从几种卫星颤振的功率谱密度曲线(
图 5. 几种飞行器平台振动的功率谱密度曲线
Fig. 5. Power spectral density curves of several spacecraft platform vibrations
利用TDICCD所成图像进行像移探测的基本原理如下:多片TDICCD之间往往以交错拼接或完全重合的方式排布,如
图 7. 平行观测图像中的成像位置偏差的形成原理
Fig. 7. Formation principle of imaging position offset in parallel observation images
采用如
图 8. 基于遥感图像的像移探测原理
Fig. 8. Principle of image motion detection based on remote sensing images
1) 选择焦面视场中心处的相邻两片TDICCD所成图像用于像移探测,根据TDICCD的排布参数,确定拼接区重叠像元的列数
2) 对所提取的重叠图像进行图像对齐、系统误差剔除以及图像划分处理。由于相邻的两片TDICCD分布在两排中,沿TDI方向存在一定的间隔,根据TDICCD的排布参数,确定两片TDICCD之间的间隔行数
3) 将两幅重叠图像中相对应的两个图像单元进行匹配处理,得到一组偏移量序列{
根据相邻两片交错拼接的TDICCD的成像原理,偏移量
式中:时间间隔Δ
根据(3)式,推导像移的频率{
基于遥感图像的像移探测方法在高频像移测量方面具有显著优势,国内外学者纷纷利用该方法对本国卫星的像移进行探测。Mattson等[34]利用平行排布的成像传感器拍摄的遥感图像,探测到LROC-NAC相机6 Hz处的像移[23]和HiRISE相机2 Hz处的像移。Teshima等[24]利用ASTER相机多谱段图像得到了1.5 Hz处的像移。Liu等[25]、童小华等[35]、Wang等[36]和Tong等[37]利用资源三号卫星多光谱影像探测到了0.6 Hz处的像移。笔者等[15,38-40]利用相邻两片TDICCD拼接区所成图像,对XX-1号目标飞行器上搭载的可见光详查相机的焦面像移进行估计,探测到0.14 Hz的像移。
基于遥感图像的像移探测方法充分利用TDICCD行扫描频率高的特点(上万赫兹),在极高的扫描频率下,低频和高频像移经过成像过程被完全记录在图像中,理论上像移测量带宽最高可达到成像传感器行频的二分之一[25]。此外,以焦面上主成像传感器所成图像为数据源,测量结果能够反映成像时刻和成像位置处像移的真实状态。
5 像移探测方法的发展趋势及所面临的关键问题
随着空间相机焦距的不断加长,由颤振引起的高频像移对像质的影响越来越严重,准确测量高频像移变得越来越重要,推动像移测量方法从最初的低频探测,逐渐过渡到高频像移探测阶段。基于遥感图像的像移探测方法凭借其在高频像移测量方面的显著优势,吸引了国内外学者的广泛关注,他们利用该方法对本国卫星的像移进行探测[32-40]。然而,仍然存在以下三方面问题。
1) 盲点频率处的像移无法探测,且盲点频率附近的像移测量误差较大。特征频率为两片传感器对同一目标的成像时间间隔的倒数,即
式中:时间间隔Δ
式中:
化简后可得到
式中:
可见,基于遥感图像的像移探测方法无法对频率为
相对于理论公式而言,从偏移量的角度能够更直观地解释盲点频率的存在性。同一目标在两片成像传感器中的成像位置存在偏移,是从遥感图像中挖掘像移信息的基本前提。然而,对于频率为特征频率整数倍的像移,同一目标在经过两片成像传感器后,像移恰好经历整数个周期,则同一目标在两片成像传感器中的成像位置相同,不存在成像位置偏移。因此,无法利用遥感图像对特征频率整数倍处的像移进行准确探测。
此外,值得注意的是,当频率接近特征频率的整数倍时,即
式中:Δ
由于Δ
令偏移量幅值的误差为
式中:
由于
为了验证上述结论的正确性,以0.2 Hz单个频率的正弦信号作为像移真值,利用(3)式求取偏移量值,特征频率为4.44 Hz,采用基于遥感图像的像移计算公式计算像移的幅值频率和相位,结果如
图 9. 基于0.2 Hz正弦信号的像移仿真结果
Fig. 9. Simulated result of image motion based on 0.2 Hz sinusoidal signal
为进一步验证上述结论,以XX-1号可见光详查相机为例,选取视场中间的两片TDICCD在北纬37.37°~38.48°升轨阶段30 s内拍摄的遥感图像为实验对象,这两片TDICCD对同一目标的成像时间间隔Δ
得到的像移探测结果如
综合以上分析可知,尽管理论上基于遥感图像的像移探测方法的测量带宽最高可以达到成像传感器行扫描频率的二分之一,但是,并非测量带宽内所有频率点处的像移均能被有效探测,特征频率整数倍处的像移无法利用遥感图像进行检测,为像移探测的盲点,除此之外,接近盲点频率处的像移测量误差较大。
2) 用于像移探测的成像传感器的成像质量会受到严重影响。像移速度在焦面上呈现空间差异性,尤其是卫星存在大姿态角时,不同位置处的像移速度差别较大[41],往往需要对不同位置处成像传感器的行扫描时间进行不同的设置,使之与所在位置处的像移速度相匹配。但是,对于所成图像用于像移测量的若干片成像传感器而言,必须工作在相同的行扫描时间下[16],无论按照哪片成像传感器所在位置处的像移速度统一调整行扫描时间,都会引起其余成像传感器的行扫描时间与像移速度失配,导致成像质量下降。以XX-1号可见光详查相机在轨运行参数为例,当卫星侧摆角大于15°或俯仰角大于14°时,由像移速度空间差异性引起的MTF下降量将超过5%[41]。由此可见,对于所成图像用于像移探测的成像传感器而言,成像参数的调整受到严格限制,当卫星存在较大姿态角时,像移探测过程会对传感器的成像质量造成严重的影响。
图 10. 基于遥感图像的XX-1号可见光详查相机的像移探测结果。(a)偏移量时域曲线;(b)像移时域曲线;(c)偏移量和像移的幅频曲线
Fig. 10. Image motion measurement results for XX-1 visible camera based on remote sensing images. (a) Time-domain curve of offset; (b) time-domain curve of image motion; (c) amplitude-frequency curves of offset and image motion
3) 像移探测的滞后性大。频谱分析技术本质上属于统计分析过程,只有在对时域信号长期观测的基础上,得到的频谱数据才具有一定的可信度[27]。换言之,若要保证所测的像移数据可信,需要长时间拍摄的大量遥感图像作为信息源,导致像移探测的滞后性过大,对在轨实时像移探测及补偿意义不大。
6 结束语
随着相机焦距的不断加长,由颤振引起的高频像移对像质的影响日益严重,亟需准确测量高频像移,在此背景下,众学者关注的焦点逐渐从依赖于惯性测量设备的低频像移计算,过渡到从遥感图像内挖掘高频像移信息的阶段。虽然多国学者相继利用遥感图像尝试对本国卫星的像移进行探测,但是,基于遥感图像的像移探测方法尚未成为宽频带像移探测的有效手段,仍然存在三方面问题:1)存在像移探测盲点,而且盲点频率附近的像移测量误差较大;2)对于所成图像用于像移测量的成像传感器,像移探测过程会影响其成像质量,尤其是卫星存在较大姿态角时,传感器的成像质量会受到严重影响;3)基于遥感图像的像移探测算法依赖于频谱分析技术,而频谱分析技术本质上属于统计分析过程,像移探测的准确度建立在长时间采集大量图像的基础之上,导致像移探测的滞后性大,限制了在轨实时像移探测的应用。由此可见,如何去除像移探测盲点并降低盲点附近的像移测量误差,是提高像移测量准确度必需解决的关键问题,而将基于遥感图像的像移探测手段应用于大姿态角成像卫星,则需要针对如何降低像移探测对像质的影响展开研究。此外,提出一种全新的像移测量算法,既适用于基于遥感图像的像移探测手段,又能摆脱对频谱分析技术的依赖,解决像移探测滞后性大的问题,是利用遥感图像实现在轨实时像移探测面临的严峻挑战。
[1] 葛玉君, 赵键, 杨芳. 高分辨率光学遥感卫星平台技术综述[J]. 国际太空, 2013( 5): 2- 8.
Ge YJ, ZhaoJ, YangF. Survey on high resolution optical remote sensing satellite platform technology[J]. International Space, 2013( 5): 2- 8.
[2] 高分辨率对地观测[EB/OL]. [2018-09-17].http:∥www.cheos.org.cn/.
[3] Wikipedia. GeoEye-1[EB/OL].[2018-09-17]. https:∥en.wikipedia.org/wiki/GeoEye-1.
[4] Wikipedia. WorldView-4[EB/OL].[2018-09-17]. https:∥en.wikipedia.org/wiki/GeoEye-2.
[5] BlanchetG, LebequeL, FourestS, et al. Pleiades-HR innovative techniques for radiometric image quality commissioning[J]. International Archives of the Photogrammerty, Remote Sensing and Spatial Information Sciences, 2012( B1): 513- 518.
[6] Cheng P. Kompsat-3 satellite[J]. Geoinformatics, 2014, 33(4): 487-496.
[7] 杜一民. 高分辨率空间相机调焦机构设计与分析[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2018: 1- 3.
Du YM. Design and analysis of focusing mechanism in high resolution space camera[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics,Chinese Academy of Sciences, 2018: 1- 3.
[9] JanschekK, TchernykhV, DyblenkoS. Integrated camera motion compensation by real-time image motion tracking and image deconvolution[C]∥Proceedings of 2005 IEEE/ASME International Conference on Advanced Intelligent Mechatronics, July 24-28, 2005, Monterey, CA, USA. New York: IEEE, 2005: 1437- 1444.
[10] 路朋罗, 李永昌, 金龙旭, 等. 大视场空间相机的像移速度场模型及卫星三轴姿态稳定度分析[J]. 光学精密工程, 2016, 24(9): 2173-2182.
[13] Prashant AR, MadheswaranM, KartikV, et al. System development for micro vibration measurements on spacecrafts[C]∥International Conference on Control, Instrumentation, Communication and Computational Technologies (ICCICCT), December 16-17, 2016, Kumaracoil, India. New York: IEEE, 2016: 98- 103.
[14] HeS, XuZ, WangX, et al. Design and testing of a parallel manipulator for space micro-vibration simulation[C]∥Conference Towards Autonomous Robotic Systems. Cham: Springer, 2017: 86- 100.
[15] 刘海秋, 刘海秋, 徐抒岩, 徐抒岩, 王栋, 王栋, 等. 基于空间相机时间延迟积分传感器拼接区图像的像移测量[J]. 光学学报, 2014, 34(2): 0212001.
. 基于空间相机时间延迟积分传感器拼接区图像的像移测量[J]. 光学学报, 2014, 34(2): 0212001.
[16] 刘海秋. 基于TDICCD拼接区图像的高分相机像移测量研究[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2015: 2- 3.
Liu HQ. High resolution space camera image motion measurement based on images from TDICCD overlapping area[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics,Chinese Academy of Sciences, 2015: 2- 3.
[19] 王家骐, 于平, 颜昌翔. 航天光学遥感器像移速度矢计算数学模型[J]. 光学学报, 2005, 24(12): 1585-1589.
[20] 闫得杰, 李伟雄, 吴伟平, 等. 空间相机像移补偿计算中飞行器大姿态角使用方法[J]. 红外与激光工程, 2014, 43(4): 1200-1205.
[21] 汪逸群, 颜昌翔. 星载成像光谱仪运动补偿数学模型的建立与计算实现[J]. 激光与光电子学进展, 2014, 51(12): 121103.
[22] SabelhausP, BolekJ, ScottS, et al. On-orbit ACDS performance of the Landsat 7 spacecraft[J]. American Astronautical Society, 2001: AAS01- 007.
[27] 程佩青. 数字信号处理教程[M]. 北京: 清华大学出版社, 1998: 75- 83.
Cheng PQ. Digital signal processing tutorial[M]. Beijing: Tsinghua University Press, 1998: 75- 83.
[28] TchernykhV, BeckM, JanschekK. Optical correlator based optical flow processor for real time visual navigation[M] ∥Obinata G, Dutta A Vision Systems: Application. Rijeka, Croatia: In Tech Education and Publishing, 2007.
[29] 戴朝约, 葛鹏, 李奇, 等. 基于双相位编码联合变换相关器的图像位移探测算法[J]. 光学学报, 2011, 31(7): 0712004.
[30] 樊超, 李英才, 靳婷, 等. 联合变换相关法测量空间相机像移的抗噪性研究[J]. 宇航学报, 2011, 32(12): 2635-2641.
[31] 陶淑苹. 航天CMOS相机数字域TDI技术研究[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2013: 1- 2.
Tao SP. Research on the TDI technology in the digital domain for CMOS space cameras[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics,Chinese Academy of Sciences, 2013: 1- 2.
[35] 童小华, 叶真, 刘世杰. 高分辨率卫星颤振探测补偿的关键技术方法与应用[J]. 测绘学报, 2017, 46(10): 1500-1508.
[39] 刘海秋, 闫得杰, 王栋. 飞船振动引起的空间相机像移模型分析[J]. 光学学报, 2014, 34(6): 0612001.
[40] 刘海秋, 王栋, 徐抒岩. 基于空间相机TDI传感器重叠区图像的像移测量方法中的多解性研究[J]. 光学学报, 2014, 34(12): 1212002.
[41] 李伟雄. 高分辨率空间相机敏捷成像的像移补偿方法研究[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2012: 33- 55.
Li WX. Research on method of image motion compensation of space high resolution cameras' collecting scene agilely[D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics,Chinese Academy of Sciences, 2012: 33- 55.
刘海秋, 马慧敏, 闫得杰, 江朝晖. 空间相机像移探测方法的研究进展[J]. 激光与光电子学进展, 2019, 56(8): 080006. Haiqiu Liu, Huimin Ma, Dejie Yan, Zhaohui Jiang. Image Motion Detection for Space Camera[J]. Laser & Optoelectronics Progress, 2019, 56(8): 080006.