1 引言

TDI-CCD(Time Delay and Integration Charge Coupled Device)成像器件被广泛用于高分辨率空间光学成像相机,使输出数据的信噪比满足应用的需求。为了保证成像质量,TDI-CCD成像方式要求卫星平台在推扫期间保持高的稳定性。然而,卫星姿态变化、轨道速高比变化、地球自转和星体内部机构颤振等因素都可能破坏这种稳定性,使CCD器件上光生电荷包的转移与焦面影像的运动不一致,造成相机输出影像模糊和畸变^[1-5],即产生像移进而导致像质退化。为了保证图像质量,对长焦距、高分辨率相机的在轨像移进行高速、高精度的测量尤为重要。

为了保证TDI-CCD空间相机的成像质量,人们提出了像移在轨高速测量,并进行实时或事后补偿^[6]。用于像移测量的装置应具有高速、高精度和小型化的特点,以满足空间相机在轨工作的要求。为了实现上述特点,可以使用联合变换相关 (JTC)原理构造像移测量装置^[7],即通过高帧频面阵图像传感器在TDI-CCD推扫成像期间同步输出图像序列,实时进行相邻图像的JTC运算及相关峰测量,从而实现像移的检测。

相关研究表明,JTC像移测量方法的测量精度能够达到甚至优于0.1 pixel,完全可以满足空间相机应用的需求^[8-13]。JTC方法虽然具有高精度、不依赖图像纹理特性和抗噪声能力强等优点,但其计算量相比于其他相关方法(如位相相关法)要大得多。主要原因是在相关运算过程中JTC方法需要对大尺寸相关输入图像和联合功率谱图像进行傅里叶变换,例如在完全避免自相关峰和互相关峰相互影响的条件下,相关输入图像和联合功率谱图像的尺寸通常是待检测图像的6倍。目前,传统JTC方法多采用光学方式来解决运算速度问题,但相对电子学实现方式其结构更复杂,系统制造和装配误差均会对测量精度产生影响,且不能完全脱离电子学运算。

为此,本文提出一种高精度JTC像移测量的新方法。该方法对JTC相关输入图像的构造方式进行了改进:在空间上以完全重合的强度叠置方式紧密排布两幅待测图像,缩小了相关输入图像的尺寸;并利用相机正常推扫运动所产生的系统像移量来有效分离相关输出图像中的自相关峰和互相关峰,从而大大缩减了相关运算的计算量。仿真和实验测试结果表明:该方法能够保持传统JTC像移测量方法的精度,并将相关输入图像尺寸缩减至待测图像大小,使完全以电子学方式实现JTC像移高速、高精度在轨测量成为可能。

2 强度叠置JTC像移测量的基本原理

传统JTC像移测量方法在进行像移测量时,首先通过安装在相机焦面上的高帧频辅助面阵CCD采集序列图像。这里将某时刻所采集的序列图像称为被测图像f_t(x,y),其前一时刻所采集的图像称为参考图像f_r(x,y)。相关输入图像由参考图像f_r(x,y)和被测图像f_t(x,y)共同构成,其中图像f_r(x,y)中心的排放位置坐标为(0,-a),f_t(x,y)的为(0,a)。假设两幅图像间存在相对位移,则相关输入图像i(x,y)可表示为

i(x,y)=fr(x,y-a)+ft(x+δx,y+a+δy),(1)

式中:δx为沿图像x方向的像移量;δy为沿图像y方向的像移量。经过傅里叶变换后可得到图像i(x,y)的频谱函数T(u,v),表达式为

T(u,v)=Fr(u,v)exp(-2iπav)+Ft(u,v)exp{2iπ[uδx+(a+δy)v]},(2)

式中:u、v为空间频率;F_r(u,v)为参考图像频谱;F_t(u,v)为被测图像频谱。联合变换功率谱为|T(u ,v)|²,具体表达式为

T(u,v)2=Fr(u,v)2+Ft(u,v)2+FtF*rexp{2iπ[uδx+(2a+δy)v]},(3)

式中:*表示共轭运算。对联合变换功率谱进行傅里叶逆变换和取模平方,得到的即为相关输出图像,其数学表达式为

c(x,y)=fr(x,y)⊗fr(x,y)+ft(x,y)⊗ft(x,y)+fr⊗ft×δ(x-δx,y-2a-δy)+ft⊗fr×δ(x+δx,y+2a+δy),(4)

式中:⊗为卷积运算。(4)式共包含4项,前两项分别为参考图像、被测图像各自的自相关项结果,后两项分别为参考图像、被测图像的互相关项结果。两个自相关峰位于相关输出图像的中心,两个互相关峰依据参考图像和被测图像中心在相关输入图像中的位置呈对称分布,并因像移的影响发生了局部偏移。对互相关峰位置的检测等价于对两幅序列图像间的像移量的测量。对(4)式分析可知,当两幅图像在相关输入图像中的中心间隔为2a,并且a的大小等于序列图像的宽度时,在相关输出图像中可以获得自相关峰和互相关峰的完整信息,并且自相关峰和互相关峰不会互相影响,如图1(a)所示。此时,用于相关运算的图像尺寸是待测影像尺寸的6倍。由于需要对大尺寸图像进行两次傅里叶变换,像移测量的计算量大幅度增加。

为了提高相关性能,Javidi等^[14]提出一种对联合功率谱进行二值化处理的改进方法,即二值化联合变换相关器(BJTC)。相比传统JTC,功率谱经过二值化处理后能够产生较高的相关峰强度,且自相关峰和互相关峰的宽度大幅缩减,如图1(b)所示。

图 1. 不同JTC方法的相关峰分布情况。(a)传统JTC;(b) BJTC

Fig. 1. Distribution of the correlation peaksof different JTC methods. (a) Conventional JTC; (b) BJTC

下载图片 查看所有图片

相关峰宽度的缩减为减小JTC计算量提供了可能性。经过研究,本文提出一种新的改进型JTC像移测量方法,即强度叠置型JTC像移测量方法(ISJTC)。该方法与传统JTC最大的区别是不再按照一定的间隔将两幅待检测序列图像排布在全零矩阵中以构造一幅更大尺寸的相关输入图像,而是将两幅序列图像按像素位置直接进行强度(或灰度)叠加。所构造的相关输入图像i(x,y)可表示为

i(x,y)=fr(x,y)+ft(x+δx,y+δy+s),(5)

式中:f_r为前一时刻采集的参考图像;f_t为当前时刻采集的被测图像;δx、δy为两幅图像间待测的像移量;s为因卫星推扫运动在图像两次采集间隔所产生的系统像移量,如图2所示。

图 2. 卫星推扫运动所产生的系统像移量

Fig. 2. Constant image motion resulting from satellite movement

下载图片 查看所有图片

将相关输入图像i(x,y)进行傅里叶变换并取模平方可得到联合功率谱图像,对联合功率谱图像进行二值化处理,再进行傅里叶逆变换和取模平方操作,就可获得相关输出图像,其数学表达式为

c(x,y)=fr(x,y)⊗fr(x,y)+ft(x,y)⊗ft(x,y)+fr⊗ft×δ(x-δx,y-s-δy)+ft⊗fr×δ(x+δx,y+s+δy)。(6)

由(6)式可见,ISJTC与传统JTC方法相关输出图像的结构一致,其中的关键是ISJTC利用卫星平台运动所产生的系统像移量s实现了自相关峰和互相关峰在空间上的自然分离,对联合功率谱进行二值化处理使相关峰的宽度变窄,避免了相关峰之间的影响。这里应该特别注意, ISJTC对相关输入图像构造方式的改进使相关运算中需进行傅里叶变换的图像的尺寸由原序列图像尺寸的6倍缩减到与序列图像相同,整个像移检测过程的计算量得到了大幅度的减少。例如,对于两幅M×M(单位:pixel)大小的图像,传统JTC相关输入图像大小为6M×6M,对其进行一次FFT(Fast Fourier Transform)的计算复杂度为o(72M²lg6M),而ISJTC中进行一次FFT的计算复杂度为o(2M²lgM)。当图像大小为128 pixel×128 pixel时进行一次FFT的计算复杂度缩减为原来的0.0202。

3 性能仿真评估

3.1 精度测量仿真实验

ISJTC精度测量仿真实验中使用了6幅具有不同地物内容的图像作为原始图像,分别为城市、沙漠、山地、海面、田地和乡镇。图像大小为512 pixel×512 pixel,如图3所示。

图 3. 不同地物内容的测试图像。(a)城市;(b)沙漠;(c)山地;(d)海面;(e)田地;(f)乡镇

Fig. 3. Different images for test. (a) City; (b) desert; (c) massif; (d) sea surface; (e) cropland; (f) town

下载图片 查看所有图片

利用原始图像产生像移测量序列图像,序列图像尺寸为128 pixel×128 pixel。在相邻两幅序列图像之间的列方向上引入20 pixel的正向像移用以模拟因卫星推扫运动而产生的系统像移量,即图像列方向为穿航方向。在序列图像的行、列方向均引入-10~10 pixel的随机数扰动,用于模拟因平台不稳定而在沿航和穿航方向产生的非正常像移。

图4为仿真分析过程中的典型实验结果。其中,图4(a)为对两幅相邻的乡镇序列图像进行强度叠加所产生的相关输入图像,图像大小为128 pixel×128 pixel。对其进行第一次傅里叶变换得到的联合功率谱图像如图4(b)所示。这里的联合功率谱图像经过了中值二值化处理。再对联合功率谱图像进行傅里叶逆变换,得到相关输出图像,如图4(c)所示。由于对联合功率谱进行了二值化处理,相关峰变得很锐利,而20 pixel的系统像移量使自相关峰和两个互相关峰在空间上得到了分离。在因卫星平台扰动而产生的非正常像移为0的情况下,三个相关峰应位于图像坐标中心所在的列上,互相关峰相对图像坐标中心对称分布,并相距40 pixel。这里由于非正常像移不为0,所以两个互相关峰的位置存在对称偏移。两幅图像间存在的像移量可以通过检测任一互相关峰位置得到。

图 4. ISJTC仿真实验典型结果。(a)相关输入图像;(b)联合功率谱图像;(c)相关输出图像

Fig. 4. Simulation experiment results of ISJTC. (a) Input images; (b) joint power spectrum image; (c) related output image

下载图片 查看所有图片

在无噪声情况下对ISJTC的像移测量精度进行了评估。测试数据为基于每种原始图像所产生的6组测试图像,每组测试图像由100 frame序列图像组成,序列图像之间存在-10~10 pixel的随机像移量,测试结果如表1所示。

由表1可见,ISJTC方法对各组测试序列图像

的像移测量的均方根误差(RMSE)均小于0.05 pixel,并且图像内容对像移测试精度的影响不明显。

空间相机利用卫星平台在轨道上的高速飞行完成推扫成像。为了在实际情况下有效实现像移测量,满足采样频率并避免拖尾现象,面阵图像传感器主要在高速、短曝光条件下工作。因此,像移测量装置必须具备良好的抗噪性能。在仿真中,对ISJTC方法的抗噪能力进行了评估。测试数据为不同信噪比(SNR)情况下由城市图像产生的7组测试图像,每组测试图像由100 frame序列图像组成。典型测试图像如图5所示。

图 5. 不同信噪比下的典型测试图像。(a) 42 dB; (b) 30 dB; (c) 20 dB; (d) 12 dB

Fig. 5. Typical test images of different SNRs. (a) 42 dB; (b) 30 dB; (c) 20 dB; (d) 12 dB

下载图片 查看所有图片

' ISJTC方法的抗噪能力测试结果如表2所示。由表2可知,采用ISJTC方法进行像移测量具有较好的抗噪性能。当图像的SNR高于25 dB时,像移测量RMSE优于0.05 pixel。当图像的SNR为17 dB时,像移测量的RMSE仍然优于0.10 pixel。即使图像的SNR为12 dB时,像移测量的RMSE仍优于0.20 pixel,满足空间相机像移测量精度的需求。

3.2 速度测量仿真实验

ISJTC速度测量仿真实验是为了评估如果采用电子学实现方式ISJTC方法是否能满足空间相机像移测量速度的需求。卫星平台稳定性不足是引起TDI-CCD空间相机推扫成像非正常像移的主要因素。NASA(LANDSAT4卫星)、ESA(OLYMPUS卫星)和日本(ETS-VI实验卫星)等国及相关研究机构的测试研究表明^[15-18]:卫星振动频谱较宽,可以达到2 kHz,但对相机像质产生显著影响的振动主要集中在低频的200 Hz以内,其振动呈现低频高幅度和高频低幅度的特点。因此,根据奈奎斯特采样定律,对其平台振动的有效测量需要达到200 Hz的2倍,即像移测量的速度需要至少达到400 Hz以上。

为此,实验中针对ISJTC测量方法进行了FPGA硬件设计及测试,如图6所示。硬件系统采用Xilinx公司的Virtex-4系列FPGA,代码使用verilog语言在ISE开发环境下实现,整个系统通过CameraLink接口接收高速面阵相机图像数据。在ISE仿真环境下,对128 pixel×128 pixel大小序列图像进行ISJTC像移测量运算,结果表明在100 MHz的工作频率下,采用流水线工作模式完成1次像移测量的处理周期小于2 ms,即可以实现优于500 Hz的测量速度,这一测量速度(大于400 Hz)完全能够满足空间相机推扫成像对像移测量速度的需求。

图 6. ISJTC方法的FPGA硬件测试系统设计图

Fig. 6. Design diagram of FPGA hardware system for ISJTC method

下载图片 查看所有图片

4 实验验证

通过动态验证实验对ISJTC方法的实际可行性进行初步评估。实验系统由视频相机、电动传送台、图像采集及像移测量计算机组成。在实验中,运动目标为美国Ikonos卫星影像数据(denver),目标图像实际物理尺寸为300 mm×600 mm,它被贴附在电动传送台上产生与相机的相对运动,如图7所示。电动传送台上的传送带可以实现无级变速,最大运动速度为0.5 m/s。

图 7. 实验中的运动目标

Fig. 7. Moving target in the experiment

下载图片 查看所有图片

视频相机以40 frame/s的帧频对推扫运动目标进行序列图像采集,形成83 frame的序列图像。在计算机中对序列图像进行ISJTC像移方法的整个计算过程,像移测量结果如图8和9所示。从图8和9中可看出,电动传送带的运动使相邻序列图像间产生了平均-27 pixel的系统像移,而由于传送带运动的不平稳性,在推扫方向上产生了最大6.85 pixel的非正常像移,在垂直推扫方向上产生了最大4.35 pixel的非正常像移。利用测量结果对所采集的序列图像进行像移补偿和峰值信噪比(PSNR)分析,结果如图10所示。由图10可知,ISJTC像移测量方法对实际拍摄的运动目标图像进行了有效的像移测量,校正后图像序列中消除了因电动传送台运动不平稳而产生的非正常像移。图像序列的PSNR均值由校正前的38.8提高到了校正后的41.5。

图 8. 行方向像移测量结果

Fig. 8. Image motion measurement results in x direction

下载图片 查看所有图片

图 9. 列方向像移测量结果

Fig. 9. Image motion measurement results in y direction

下载图片 查看所有图片

图 10. 图像序列PSNR计算结果

Fig. 10. PSNR of image sequence

下载图片 查看所有图片

5 结论

JTC像移测量方法是实现在轨实时像移测量的有效途径。利用像移测量数据进行在线或离线补偿可以有效消除卫星平台扰动对空间相机推扫影像像质退化的影响。本文所提出的强度叠置联合变换相关像移测量方法采用两幅序列图像强度叠加的方式构造相关输入图像,将图像尺寸缩减至传统JTC相关输入图像的1/6,大幅度降低了像移测量过程的计算量。同时,所提方法利用卫星推扫运动所产生的系统像移量实现了自相关峰和互相关峰在空间上的分离,使完全以电子学方式实现JTC像移高速、高精度在轨测量成为可能。所提方法的仿真和实验测试结果表明:所提方法保持了传统JTC像移测量方法高精度、抗噪声能力强和对图像纹理不敏感的特点,并具有实现高速像移测量的潜力。采用该方法将有利于实现空间相机在轨像移测量的高速、高精度和装置小型化。