光学学报, 2024, 44 (6): 0628003, 网络出版: 2024-03-11  

面向光学遥感卫星星上定位精度优化的轻量化矢量控制库技术

Lightweight Vector Control Library Technology for Spaceborne Positioning Accuracy Optimization of Optical Remote Sensing Satellites
作者单位
中国人民解放军战略支援部队信息工程大学地理空间信息学院,河南 郑州 450001
摘要
针对当前光学智能遥感卫星有限存储能力对全球控制信息的轻量化需求,提出一种面向光学遥感卫星星上定位精度优化的轻量化矢量控制库技术。首先,在地面提取完整道路网,通过道路细化、节点提取以及拓扑关系构建等处理,生成星上轻量化矢量控制库并上注卫星;其次,星上在轨提取道路结构,并利用随机游走避免道路缺失的影响,生成随机游走矢量结构;然后,引入隐马尔科夫模型,搜索对应矢量,并设计分层匹配策略以精化匹配结果,实现星上轻量化矢量控制库与随机游走矢量结构的匹配;最后,利用不同类型卫星影像进行随机游走矢量结构提取、星上矢量匹配以及定位性能分析。结果表明,所提光学遥感卫星的星上轻量化矢量控制库能够有效改善非量测光学遥感卫星定位精度,验证了其在光学智能遥感卫星中的可行性。
Abstract
Objective

With the rapid development of optical remote sensing satellites in China, the types of satellites, imaging methods, and the number of satellites in orbit are constantly increasing. Intelligent remote sensing satellite (IRSS) and related surveying and mapping application services have become an important development direction in the field of remote sensing surveying and mapping. As a key technology, on-orbit geometric positioning is rapidly developed and has become one of the essential works for IRSS and its subsequent applications. To improve the positioning accuracy, at the same time, ground control information has to be injected into the spaceborne processing system. However, the data volume of ground control information is usually globally covered and is too huge to be directly loaded. How to lighten the ground control information, therefore, has become one of the urgent problems to be solved. The construction of an on-orbit control information library is one of the solutions. At present, most related methods are focused on the lightweight processing of control information descriptors, the performance of which is generally limited by environmental noise-affected feature diversity. To address the problem, scholars have proposed and attempted to introduce vector line features into the methods to improve its robustness. Based on this, we propose an optical remote sensing satellite positioning technology based on the lightweight vector control library, which uses the vector topology relationship to get rid of the dependence of the control point on local image grayscale information. We believe that our spaceborne lightweight vector control library can help IRSS improve on-orbit positioning accuracy and advance the development of on-orbit automatic processing technology.

Methods

First, we extract and perfect the road information on the ground platform. Through a series of operations including road network refinement, node interruption, and road network topological relationship construction, the spaceborne lightweight vector control library is formed. Then, the road mask is extracted from the spaceborne intelligent processing module. After that, in the matching and positioning module, we propose the local vector construction method based on random walking for the unavoidable breakage phenomenon of road extraction in the spaceborne environment. Finally, we propose a hierarchical matching strategy based on the hidden Markov model (HMM) to accomplish the matching and use the offset of the matching transformation model to correct its rational polynomial coefficients (RPC) to improve the image positioning accuracy.

Results and Discussions

To verify the effectiveness of the proposed method, we select three sets of data for testing: 1) high score No. 2 image and high score No. 7 image in Kaifeng City, Henan Province, China; 2) Jilin-1 video data and Google images in Juarez, USA; 3) Jilin-1 video data and Google images in Oklahoma City, USA. Random walk vector extraction is performed multiple times in the three sets of data, and the average number of vector nodes extracted is 13, 7, and 5 respectively (Table 1). In addition, we compare the storage capacity of this method with traditional image control points, lightweight image control points, and deep lightweight image control points method. After comparison, the storage capacity of this method is reduced by 83334.0 times, 252.6 times, and 2.3 times compared to that of the other three methods (Table 2). In the vector matching stage, the proposed methods successfully match the lightweight vector library and the random walk vector. The number of vector nodes successfully matched in the three groups of regions is 17, 21, and 5, and the encryption points are 4372, 4245, and 5591 respectively. The test results all meet the minimum requirements for the number of points for the control point to correct the image positioning accuracy. Therefore, our method is feasible and effective for correcting the image positioning accuracy. Then, we use the successfully matched vector nodes and encryption points to correct the image RPC and compare the positioning accuracy of the original image. The results show that by correcting the RPC through the proposed method, the image localization accuracy of each region is significantly improved. Specifically, the positioning accuracy of Jilin No. 2 has been increased from 79 pixel to about 4 pixel, that of Jilin-1 video data in region 2 has been increased from 675 pixel to about 16 pixel, and that of Jilin-1 video data in region 3 has been increased from 539 pixel to about 17 pixel (Table 2). Through above tests, it is verified that the proposed method can effectively improve the positioning accuracy of non-measurable optical remote sensing satellite images.

Conclusions

Given the urgent demand for spaceborne lightweight control data required of intelligent remote sensing satellite systems, we design a spaceborne lightweight vector control library. Compared with traditional control point methods, the proposed vector control library uses only the geographic coordinates and topological relationship of the control points to complete the image positioning without descriptors of local images or image points. Experiments such as vector construction, vector matching, and positioning accuracy comparison are conducted on the proposed method through multiple sets of image data to verify the matching effectiveness of the lightweight vector control library and its ability to improve positioning performance. This leads to the conclusion that the lightweight vector control library can provide high-precision global positioning information for intelligent remote sensing satellite systems and provide data support for applications such as on-orbit earth positioning and geometric correction.

1 引言

随着国产光学遥感卫星的高速发展,卫星类型、成像方式以及在轨数量不断增加。与庞大多样的卫星群体相对应的是有限的星地传输能力、繁琐缓慢的地面处理技术1-3。因此,利用星上自主处理功能直接生成产品并分发至用户,实现端到端的遥感测绘应用服务已然成为当前遥感与测绘领域的重要发展方向4-5

在轨几何定位作为星上自主处理的关键技术与后续应用的基础工作之一,是遥感应用必不可少的环节6。我国现有的高分辨率光学遥感卫星中,多数为非立体测绘卫星——仅具有高分辨率和高机动性,并不具备高定位能力,难以满足重要目标的高精度定位需求7-8。在轨改善此类卫星定位能力对实现端到端遥感测绘应用具有重要意义。实现在轨几何定位的前提是将控制信息上注至星上处理系统,然而现有地面几何定位所需的控制信息数据量庞大,无法直接加载至星上处理系统中9。因此,如何将数据量庞大的全球控制信息轻量化成为当前星上自主处理技术发展亟需解决的问题之一10-11

当前,国内外针对星上控制库构建的研究仍然较少。王月莉等12提出了建立多级多源控制点影像数据库系统,并实现了控制点的图形化管理、多种方式查询、提取与输出。蒲生亮等13针对多源异构导致的影像几何精度难以保证的问题,提出通过空天多源传感器影像自动匹配,在传统的普通地面控制点基础上构建广义影像控制点和控制点库。但此类早期提出的控制库均是为地面处理系统所设计的,并没有考虑星上处理资源受限的问题。为此,霍门婕14引入哈希映射轻量化控制点描述符,并在遥感影像上取得了较好的结果。此后,纪松等15与岳振宇等16提出了完整的星载轻量化影像控制点制作方法,设计了星载影像控制点的轻量化表示模式,利用哈希映射学习将特征向量转换至哈希码,实现了星载影像控制点的深度轻量化。然而仅利用点特征构建控制库,只有低层次单点信息,易受到环境噪声影响,易出现特征相似或无特征点等现象,鲁棒性较差。此外控制点不仅需要坐标信息,还需要局部影像或点特征信息,存储量仍然较大。

在不同领域面对点特征鲁棒性较差的问题时,均有学者提出利用矢量线特征的方式来提升算法鲁棒性。如:王立玲等17提出了点线特征视觉与惯导融合的机器人SLAM(simultaneous localization and mapping)算法,使得算法在弱纹理环境中的定位效果仍具有较强的鲁棒性和精确性;丁亚洲等18提出了点线特征约束的机载激光雷达(LiDAR)点云与航空影像自动配准方法,实现了城区LiDAR点云与航空影像的高精度自动配准;欧阳欢等19提出了一种结合离散化描述与同名点约束的航空影像线特征匹配算法,该算法可实现曲线匹配及断裂线特征的多对多匹配。

针对当前星载平台轻量化需求与矢量线特征在多领域中的成功应用,本文提出一种基于光学遥感卫星的全球轻量化矢量控制库构建方式,同时,针对星上环境矢量提取不稳定的问题,改善匹配矢量结构。最后,以隐马尔科夫模型(HMM)为基础构建分层匹配策略,成功匹配轻量化矢量控制库与星上提取矢量。

2 方法原理

所提方法首先在地面平台提取并完善道路信息;通过细化道路网并在节点处将其打断,提取节点与道路中线信息并构建道路网拓扑关系,形成轻量化的星上矢量控制库;然后,在星上智能处理模块中提取道路掩膜;在匹配与定位模块中,针对星上环境中道路提取无法避免出现缺失和断裂的现象,提出基于随机游走的局部矢量构建方式;最后,基于HMM20提出分层匹配策略,从而完成匹配,利用匹配变换模型的偏移量修正其有理函数模型定位参数(RPC),以提高影像定位精度。具体流程如图1所示。

图 1. 基于轻量化矢量控制库的光学遥感影像定位流程

Fig. 1. Optical remote sensing image positioning process based on lightweight vector control library

下载图片 查看所有图片

2.1 地面平台轻量化矢量控制库构建

轻量化矢量控制库指从影像上提取结构稳定、特征明显的矢量网节点坐标,主要包含矢量节点地理坐标以及拓扑关系文件。其相比于传统地面控制点,无需实地测量获取,极大降低了控制数据获取成本;相比于影像控制点,无需存储局部影像块,使得控制数据进一步轻量化。此外,地面起伏时控制点位置可能偏移实际地面位置,观测角度不同时建筑物可能遮挡控制点,存在阴影或反光强烈时控制点可能难以识别。而矢量控制库结合了拓扑关系,整体稳定性大大提升,且其通过整体平差减弱了地形起伏、局部遮挡等因素的影响。但是,矢量控制库的精度会受节点提取精度影响,其精度相较于量测获取的地面控制点较低。因此,所提轻量化矢量控制库仅针对低定位能力的非量测遥感卫星影像展开研究。

经典的矢量提取算法多通过变换域局部峰值检测或图像域灰度、梯度等信息来实现边缘矢量提取21。面对高分辨率光学遥感影像,这一途径直接提取的矢量将会细小繁多、杂乱无章。而道路网、水系以及地物分界线等相对结构固定且特征明显,利用此类信息提取矢量特征在实际应用中更为简单有效。本研究以道路信息为例构建星上轻量化矢量控制库,其主要步骤如图2所示。

图 2. 矢量网提取

Fig. 2. Vector net extraction

下载图片 查看所有图片

1)随着深度学习的不断发展,现行的道路提取算法已使提取精度达到了一个较高的水平。本研究采用D-Linknet22提取道路掩膜,其主要优势在于:①充分考虑影像中道路的空间表现特性,即狭窄、连通性、复杂性和长跨度;②网络结构相对简单,在算法性能、鲁棒性以及复杂度之间取得了一个较好的平衡。此外,考虑到算法鲁棒性问题,还应利用已有道路网数据对提取结果进行完善与补充,使矢量库中的道路网信息尽可能完整。

2)利用数学形态学对二值图进行膨胀与腐蚀处理,消除掩膜中因提取算法导致的斑点、轻微断裂等问题。对处理后的道路掩膜进行骨骼细化处理,以获取单像素道路网,即道路中线网。然后结合道路掩膜与道路中线网,利用宽度阈值Twid剔除细小道路。

3)在处理后的道路中线网中开取窗口W沿中线网滑动,计算窗口内道路像素个数n。当n大于阈值Tmax时,将窗口中心点坐标xp,yp加入节点集pn

4)按照步骤3)中的统计,在道路中线网中节点或端点附近的多个像素点均加入到了节点集pn中。因此,利用基于密度的噪声应用空间聚类(DBSCAN)方法23在节点集pn内进行聚类处理,从而获取道路中线网的节点坐标。

5)依据节点集pn将道路网打断,获得诸多代表道路中线的曲线集Ccurve。遍历节点集pn,利用曲线集查询相连节点集。具体地,若节点pi与节点pj间存在曲线Ccurve(m)m表示曲线集中的任意一条曲线,为随机数)使得曲线两端点到节点pipj的距离小于阈值Tdis,则认为节点pi与节点pj相连,将相连节点加入到拓扑关系表Ttopology中。此外,为对矢量控制库进行深度轻量化,曲线集仅用于构建拓扑关系表,并不上注卫星。

6)利用国内外高定位精度立体影像或高精度数字高程模型(DEM)数据作为辅助,对完成矢量提取的影像进行区域网平差。立体交会出矢量网节点的地理坐标,结合步骤5)生成的拓扑关系表共同构成所提轻量化矢量控制库。

通过以上步骤即可在地面获得轻量化矢量控制数据,所提方法获取的轻量化矢量控制数据位置精度为m级,主要应用于非立体成像的遥感卫星。此外,所构建的轻量化矢量控制库仅包含节点坐标以及拓扑关系文件,相较于传统的控制点,数据量大大减少,更易于星上处理。因此将该轻量化矢量控制库上注卫星,即可用于视频卫星、微纳卫星等低定位能力的遥感卫星24

2.2 星载平台矢量获取

星载平台应用方面,在星载智能处理模块中固化D-Linknet模型;然后通过星地链路的上注手段,定期上注地面平台构建的轻量化矢量控制库并更新模型权重文件,对拍摄影像在轨进行道路提取。其中,星载智能处理模块采用嵌入式图形处理器(GPU,Jetson AGX Xavier)搭建。此外,成像平台在成像瞬间的光照、云层、大气、成像姿态以及成像地点等不同,导致每一景遥感影像均有不同。为提高星载平台道路提取的鲁棒性,地面站应根据不同地区、不同时间的卫星影像不断扩充道路提取数据集以持续训练模型参数,通过星地链路定期上注模型权重文件来逐渐提高星载平台道路提取的精度与稳定性。

但在道路提取阶段,星上部分无法利用已有道路信息对提取结果进行补充与完善,始终无法避免地会存在道路缺失和断裂现象,从而导致矢量网缺失25。针对此问题,在星载匹配与定位模块中舍弃全局矢量网匹配策略,转而选择随机游走矢量结构匹配,以此消除道路缺失对匹配的影响。其中,星载匹配与定位模块采用DSP(digital signal prossing)+FPGA(field programmable gate array)的模式搭建,两者结合实现了优势互补,在兼顾操作灵活性的同时提高了计算速度。

具体地,如图3(a)所示,在待匹配影像上随机选取n个节点,以pi为例,与该节点相连的节点有pjpkplpm,以此节点为起点,随机游走至与此节点相连的下一节点,如游走至节点pl。再以pl为原点,查询相连节点并随机游走。循环上述过程直至游走节点数达到阈值Tnum或游走至端点时终止。此外,为避免游走路线陷入局部循环,游走路线中节点不可重复,即各节点最多路过一次。因此,当出现图3(b)所示情况,游走至节点ps时,其相连节点ptpupvpw均无法重复游走,因此游走也将提前终止。根据上述条件即可获得随机游走节点序列pa,pb,,px

图 3. 随机游走矢量结构。(a)随机游走矢量起始状态;(b)随机游走矢量终止状态

Fig. 3. Stochastic wandering vector structure. (a) Random walk vector initial state; (b) random walk vector termination state

下载图片 查看所有图片

2.3 基于HMM的矢量匹配

根据影像定位文件,将轻量化矢量控制库反投影至像方坐标系,与影像中的随机游走矢量结构进行匹配。为使矢量结构整体参与匹配,首先将随机游走矢量节点序列等间隔加密。而后将HMM引入矢量匹配,设影像随机游走产生的矢量结构为观测状态,矢量控制库为隐藏状态,两者匹配问题可近似看作是HMM的解码问题——已知模型参数与一组观测值,求解最有可能的隐藏状态序列26

基于HMM的矢量匹配过程中的一个关键问题是根据观测状态(随机游走矢量节点)快速确定候选的隐藏状态(轻量化矢量控制库节点)。设置候选范围半径为r(单位为m),当矢量控制库包含或相交于以随机游走矢量节点pir为原点,r为半径的区域内时,pir在这些矢量上的投影点即为pir的候选隐藏状态。通常情况下,pir对应多个矢量上拥有的候选点p1,p2,,pn,各候选点与pir对应的概率服从高斯分布,表示为

ppj,pir=12πρexpxi,j-σ22ρ2

式中:xi,j是节点pir到候选点pj的欧氏距离;ρσ分别为高斯分布的标准差和期望误差。

此外,HMM参数中还包含两个连续观测状态对应的隐藏状态间的转移概率tp。以往研究中常用两观测状态节点距离dn,n+1与隐藏状态节点距离d˜n,n+1之比表示转移概率,即

tpn,n+1=dn,n+1d˜n,n+1

然而,为提高匹配精度,加密随机游走矢量结构节点后,可能会导致式(2)在矢量匹配中出现问题,如图4所示,其中,l表示矢量库中的矢量,p表示矢量库中节点,pr表示候选节点。在图4(a)中,当随机游走矢量节点距离dn,n+1大于候选矢量节点距离d˜n,n+1时,转移概率将大于1。图4(b)中,两随机游走矢量节点匹配到同一候选矢量,使得d˜n,n+1为0,这将导致式(2)无法正确计算转移概率。针对于此,选择利用距离接近程度来衡量转移概率,将式(2)改写为

tpn,n+1=mindn,n+1,d˜n,n+1maxdn,n+1,d˜n,n+1

图 4. 转移概率计算示意图。(a)转移概率大于1;(b)转移概率为0

Fig. 4. Schematic diagram of transfer probability calculation. (a) Transition probability is greater than 1; (b) transition probability is 0

下载图片 查看所有图片

式(3)保证了图4(a)所示情况下转移概率小于1,图4(b)所示情况下转移概率为0,避免了匹配过程中因搜索半径r增大而导致的错误。

经上述计算,可获得游走矢量节点序列par,pbr,....,pxr的多组候选矢量集C1=pa1,pb1,....,px1C2=pa2,pb2,....,px2,…,Ck=pak,pbk,....,pxk。每个候选矢量集的匹配分数计算公式表示为

Sscorei=n,i(a,b,,x)tp(n,n+1)×ppj,pir

根据匹配分数与Viterbi算法27即可求出最优匹配矢量Ci,即得分最高的路径。

2.4 分层匹配策略

由上述描述可知,候选半径r对匹配成功与否至关重要。当r足够大时,可以保证候选区域内包含正确匹配对象,但候选区域内同时将包含大量错误对象,导致时间成本成倍增加,如图5(a)所示;当r减小时,又可能使得候选区域内不包含正确匹配对象,导致匹配错误,如图5(b)所示。此外,随机游走矢量节点pir在确定矢量投影点时,若随机游走矢量与控制库矢量距离相差过大,投影点精度将会较差,因此,仅利用HMM在大范围内进行矢量匹配将导致匹配结果偶然误差巨大,严重影响后续定位精度。

图 5. 候选点搜索示意图。(a)搜索半径较大时候选区域匹配对象分布情况;(b)搜索半径较小时候选区域匹配对象分布情况;(c)直接匹配示意图;(d)分层匹配策略平移后匹配示意图

Fig. 5. Schematic diagram of candidate point search. (a) Distribution of matching objects in the selected region when the search radius is large; (b) distribution of matching objects in the candidate region with a small search radius; (c) schematic diagram of direct matching; (d) schematic diagram of matching after translation of hierarchical matching strategy

下载图片 查看所有图片

为保证匹配精度并降低匹配运算量,设计了分层匹配策略,即在像方坐标系内移动随机游走矢量结构,获取距矢量库匹配点最近的随机游走矢量结构位置,并在此处进行匹配,从而得到高精度的匹配结果。

具体地,首先使随机游走矢量在横纵方向均以步长S1进行平移,并求出各位置随机游走矢量与矢量库匹配得分最高的矢量结构,计算两者距离得分Cscore,公式表示为

Cscore=iPxi-x̆it2+yi-y̆it2

式中:P表示随机游走矢量所有节点与加密点;xi,yi表示随机游走矢量中第i点坐标;x̆it,y̆it表示xi,yi在匹配得分最高的矢量结构上的投影点坐标,其中,t应满足:

Sscore=maxSscore1,Sscore2,,Sscoren

通过第一次平移得到各位置两者距离得分后,在横纵方向距离得分最小值与次小值间进行步长为S2的平移。同理,通过式(5)式(6)获得距离轻量化矢量库最近的随机游走矢量位置,以此位置进行匹配,即可获得最佳匹配结果。

3 分析与讨论

3.1 试验数据

为验证所提方法的有效性,选择三组数据进行试验:1)待提高影像为高分二号卫星获取的中国河南开封地区影像,获取时间为2023年1月24日,数据包含一张全色影像及其RPC。基准影像为高分七号获取的中国河南开封地区影像,影像获取时间为2023年5月8日,数据同样包含全色影像以及RPC。2)待提高影像为吉林一号获取的美国华雷斯地区1B级视频数据,获取时间为2017年5月3日,数据包含多光谱视频数据以及主帧RPC。基准影像为美国华雷斯地区Google正射卫星影像数据,影像下载时间为2023年7月。3)待提高影像为美国俄克拉何马城地区的吉林一号1B级视频数据,获取时间为2023年6月25日。基准影像为Google正射卫星影像数据,具体参数与第二组数据一致。

3.2 星上随机游走矢量获取试验

为验证方法有效性,在三组试验区域中进行不同匹配范围、不同道路筛选尺度的随机游走矢量结构生成试验,将矢量结构可视化。第一组数据仅选取北纬114°16′30″至114°17′43″、东经34°48′02″至34°49′42″的区域,在2.5 km×3.3 km的范围内进行Twid=30 m星上矢量提取与匹配;第二组数据则选取北纬31°42′30″至31°46′34″、西经106°20′03″至106°27′29″的区域,在8 km×14 km的全景影像范围内进行Twid=30 m矢量提取与匹配;第三组数据选取北纬35°22′51″至35°27′03″、西经97°18′28″至97°27′27″的区域,在8 km×15 km的全景影像范围内进行Twid=50 m矢量提取与匹配。如图6所示,图6(a)为高分二号全色影像,图6(b)为高分二号中构建的一条随机游走矢量结构,图6(c)、(d)为吉林一号视频第一帧中构建的一条随机游走矢量结构。在三组数据基础上利用所提道路信息与矢量结构获取方法在不同范围以及不同道路筛选尺度下分别获取了13、7和5个矢量节点,说明了所提随机游走矢量构建方式的可行性。

图 6. 随机游走矢量可视化图。(a)区域一;(b)区域一局部细节;(c)区域二;(d)区域三

Fig. 6. Visualisation of the random wandering vector. (a) Area 1; (b) local details of area 1; (c) area 2; (d) area 3

下载图片 查看所有图片

为进一步验证所提随机游走矢量构建方法的鲁棒性,在三个区域内重复多次矢量结构生成并统计其节点数,结果如表1图7所示。从图7可以看出,多次试验中各区域均提取出了足够数量的矢量节点,其中,区域三提取节点相对较少,原因是区域三中多数道路较窄,且设置道路宽度阈值Twid较大,仅保留了主干道路,道路较为稀疏,因此随机游走易提前中断。但总体上三个区域均获得了满足匹配条件的节点数量。

表 1. 随机游走矢量构建节点统计

Table 1. Statistics of random wandering vector construction nodes

Test dataNumber of testsMaximum number of nodesMinimum number of nodesAverage number of nodes
Area 1301739
Area 2301237
Area 330534

查看所有表

图 7. 节点数统计

Fig. 7. Statistics of the number of nodes

下载图片 查看所有图片

3.3 轻量化矢量控制库匹配试验

现有轻量化控制数据的方法较少,为了对比控制数据的轻量化程度,将所提方法与传统影像控制点(TICP)、文献[15]提出的轻量化影像控制点(LICP)以及深度轻量化影像控制点(DLICP)方法进行对比,结果如表2所示。其中,传统影像控制点由地理坐标与1000 pixel×1000 pixel大小的局部影像表示;轻量化影像控制点由地理坐标、点位特征向量以及特征影像表示;深度轻量化控制点则利用哈希映射向量代替特征向量与特性影像表示。从表2可以看出,所提矢量节点单点存储空间相比于传统影像控制点,轻量化压缩倍率达到了83334.0倍,相比于轻量化影像控制点,压缩倍率达到了252.6倍,相比于深度轻量化影像控制点,压缩倍率达到了2.3倍,且在附加存储数据方面,所提拓扑关系文件数据量远小于深度轻量化影像控制点的哈希映射向量文件。

表 2. 控制数据存储空间对比结果

Table 2. Control data storage space comparison results

MethodPoint numberStore contentStorage capacity /ByteAdditional storagecontentAdditional storage capacity /Byte

Total

storage /KB

TICP45Geographic coordinatesPartial image1000012-043945.84
LICP45Feature imageGeographic coordinatesPoint feature vector3032-0133.24
DLICP45Hash point feature vectorGeographic coordinates28Hash mapping vector6450064.22
Ours34Geographic coordinates12Topology relationship file940.49

查看所有表

所提方法利用矢量结构匹配时,矢量结构至少要包含3个矢量节点与2条矢量边才可构成最小匹配单元。为验证所提方法的匹配效果,利用RPC反算将矢量控制库投影至待提高影像的像方坐标系中,并与其随机游走矢量结构进行匹配,匹配结果如图8所示。图8中1号矢量由待提高影像中5组随机游走矢量叠加形成,2号矢量为与其匹配成功的对应矢量控制库在影像上的投影矢量。从图8可以看出,所提匹配方法成功在矢量控制库中匹配出了随机游走矢量所对应的矢量结构。此外,从图8(b)可以看出,高分二号无控初始定位能力较强,两者偏移量较小;而图8(c)与图8(d)中吉林一号两者偏移量较大,匹配时需要在大范围内搜索对应矢量,也说明所提分层匹配的必要性。具体地,在河南开封地区的高分二号影像上匹配到17个矢量节点,4372个加密点;在美国华雷斯地区的吉林一号视频第一帧中匹配到21个矢量节点,4245个加密点;在美国俄克拉何马城地区的吉林一号视频第一帧中匹配到5个矢量节点,5591个加密点。经过以上试验验证,所提方法在三组试验区域虽然匹配范围不同,星上道路筛选尺度也不同,但均成功匹配到满足要求的矢量结构,验证了所提矢量匹配方法的可行性。

图 8. 矢量结构匹配图。(a)区域一;(b)区域一局部细节;(c)区域二;(d)区域三

Fig. 8. Vector structure matching diagrams. (a) Area 1; (b) local details of area 1; (c) area 2; (d) area 3

下载图片 查看所有图片

3.4 基于轻量化矢量控制库的定位试验

为验证所提矢量控制库的定位能力,将同一地面点采用原始RPC与修正后的RPC的像方定位结果进行对比,如图9~11所示。具体地,图9前两列展示了地面点在高分七号上的像方定位结果;图9第3、4列为地面点利用高分二号原始RPC计算的像点坐标;图9第5、6列为通过所提方法改正RPC后计算的像点坐标。通过图9第1、3列可以看出,高分二号无控定位精度较差,像点坐标差异较大;而对比图9第2、6列可以看出,经过所提方法改正RPC后,定位精度得到了显著提升。但从图9第2行第2列与图9第2行第6列的对比以及图9第3行第2列与图9第3行第6列的对比可以看出,经过所提方法改正RPC后计算的像点坐标仍存在偏差,原因是利用道路信息构建矢量节点时存在偶然偏差,导致最终定位结果存在误差。

图 9. 河南开封区域高分二号定位结果对比

Fig. 9. Comparison of Gaofen-2 positioning results in Kaifeng region of Henan Province

下载图片 查看所有图片

图 10. 美国华雷斯区域吉林一号定位结果对比

Fig. 10. Comparison of Jilin-1 positioning results in the Juarez region, USA

下载图片 查看所有图片

图 11. 美国俄克拉何马城区域吉林一号定位结果对比

Fig. 11. Comparison of Jilin-1 positioning results for the Oklahoma City region, USA

下载图片 查看所有图片

图10图11图9类似,但从图1011的第1、3列对比中无法分析吉林一号原始PRC的定位精度偏差,原因是其原始无控定位精度较差,偏移量超出图10第3列与图11第3列的显示范围。从图1011的第1、5列对比以及第2、6列对比可以看出,吉林一号经过所提方法修正RPC后的定位精度相比于高分二号仍偏差较大,但经过所提方法修正RPC,相比于无控定位,其定位精度已经得到了极大提升。综合三个区域的定位可视化结果分析可以得出:所提方法在高分二号影像与吉林一号视频帧上的效果是显著的,可以明显提升定位精度。

为进一步定量验证所提轻量化矢量控制库的定位精度,在没有真实地面控制点的情况下,选取基准影像与待提高影像上的同名点进行测试。具体地,根据基准影像所计算的地面点坐标,利用待提高影像改正前后的RPC分别计算同名像点坐标,与人工在待提高影像上选取的同名点进行对比,统计定位精度误差,统计结果如表3所示。

表 3. 像方定位精度对比

Table 3. Comparison of positioning accuracy of image coordinate system

Check pointRevised RPCArea 1Area 2Area 2
xyxyxyxyxyxy
01×8.96-79.5880.0843.99-664.80666.25-473.28216.33520.38
-0.04-1.581.5817.993.2018.2716.720.3316.72
02×11.38-78.9579.7736.02-660.91661.89-478.66221.68527.50
1.38-0.951.6810.027.0912.2711.345.6812.68
03×14.34-82.3783.6140.58-678.66679.87-492.47217.43538.33
5.34-4.376.9014.58-10.6618.06-2.471.432.85
04×9.33-76.2676.8340.22-673.25674.45-494.38218.35540.45
0.332.742.7614.22-5.2515.16-4.382.354.97
05×11.21-75.3176.1430.94-671.37672.08-509.25217.84553.89
1.212.692.954.94-3.375.98-19.251.8419.34
06×13.33-79.2680.3738.38-680.60681.68-505.33221.30551.66
3.33-1.263.5612.38-12.6017.66-15.336.3016.57
07×9.31-76.0276.5936.61-692.35693.32-504.93231.03555.27
0.311.982.0010.61-24.3526.56-14.9315.0321.19
08×11.73-78.9679.8316.58-677.70677.90-498.90233.10550.67
2.73-0.962.89-9.42-9.7013.52-8.9017.1019.28
09×14.70-80.5381.8613.93-673.66673.80-464.12219.25513.30
5.70-2.536.24-12.07-5.6613.3325.883.2526.08
RMS×11.7778.6179.4934.54674.87675.75491.48221.89539.25
3.042.363.8512.3111.0116.5114.958.2517.07

查看所有表

表3可知:高分二号卫星影像的无控像方定位精度达到了79.49 pixel(RMS,root mean square),分析其原因,可能是卫星平台受热不均匀、远离检校场或大气热流等影响使得检校参数不稳定所导致的。经过所提控制库修正RPC后,像方定位精度提高到了3.85 pixel(RMS)。吉林一号视频帧的无控像方定位精度在500~700 pixel之间,分析其原因,可能是视频卫星凝视成像过程中姿态变化频繁导致图像发生畸变,从而影响定位精度。经过所提方法修正RPC,其定位误差最大值保持在30 pixel以内,RMS也保持在20 pixel以内。所提矢量控制库在吉林一号影像上的效果相较于高分二号来说较差,分析其原因,可能与吉林一号自身无控定位较差有关,偏差较大导致两次分层匹配仍未达到最优值。但在两种卫星影像中,相较于无控定位精度,经过所提方法修正RPC,定位能力均取得了显著改善。

4 结论

针对智能遥感卫星系统星上轻量化控制数据的急切需求,设计了一种星上轻量化矢量控制库。与传统控制点相比,所提矢量控制库不需要局部影像或像点描述符,仅利用控制点地理坐标与拓扑关系即可完成影像定位。通过多套影像数据对所提方法进行了矢量构建、矢量匹配与定位精度对比等试验,验证了轻量化矢量控制库的匹配有效性以及对定位性能的提升效果,从而得出了轻量化矢量控制库可为智能遥感卫星系统提供全球较高精度的定位信息,为星上在轨对地定位、几何校正等应用提供数据支持的结论。

研究还发现,虽然所提矢量控制库可提供轻量化控制信息,但构建控制库时对道路信息要求严苛,需要及时更新道路信息,保证控制库包含星上提取的所有道路。此外,当影像中不包含道路时,方法会失效。利用水系、地物分界线等提取矢量结构并构建轻量化矢量库将是下一步研究方向。

参考文献

[1] 王密, 杨芳. 智能遥感卫星与遥感影像实时服务[J]. 测绘学报, 2019, 48(12): 1586-1594.

    Wang M, Yang F. Intelligent remote sensing satellite and remote sensing image real-time service[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12): 1586-1594.

[2] 常晓宇, 张伟嘉, 李旭东, 等. 遥感卫星随遇接入互联网星座和在轨智能处理[J]. 电信科学, 2022, 38(4): 59-69.

    Chang X Y, Zhang W J, Li X D, et al. Study on remote sensing satellites random access to internet constellation and on-orbit intelligent processing[J]. Telecommunications Science, 2022, 38(4): 59-69.

[3] 王密, 仵倩玉, 肖晶, 等. 低轨巨型星座遥感信息“云-边-端”智能服务关键技术[J]. 武汉大学学报(信息科学版), 2023, 48(8): 1256-1263.

    Wang M, Wu Q Y, Xiao J, et al. Key technologies on cloud-edge-end collaborative intelligent service of low-orbit giant constellation[J]. Geomatics and Information Science of Wuhan University, 2023, 48(8): 1256-1263.

[4] 张永军, 万一, 史文中, 等. 多源卫星影像的摄影测量遥感智能处理技术框架与初步实践[J]. 测绘学报, 2021, 50(8): 1068-1083.

    Zhang Y J, Wan Y, Shi W Z, et al. Technical framework and preliminary practices of photogrammetric remote sensing intelligent processing of multi-source satellite images[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8): 1068-1083.

[5] 王密, 仵倩玉. 面向星群的遥感影像智能服务关键问题[J]. 测绘学报, 2022, 51(6): 1008-1016.

    Wang M, Wu Q Y. Key problems of remote sensing images intelligent service for constellation[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(6): 1008-1016.

[6] 程宇峰. 高分辨率光学遥感卫星高精度在轨自主几何定标方法研究[D]. 武汉: 武汉大学, 2022.

    ChengY F. Research on high-precision autonomous geometric calibration method of high-resolution optical remote sensing satellite in orbit[D]. Wuhan: Wuhan University, 2022.

[7] 潘腾, 关晖, 贺玮. 高分二号卫星遥感技术[J]. 航天返回与遥感, 2015, 36(4): 16-24.

    Pan T, Guan H, He W. GF-2 satellite remote sensing technology[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(4): 16-24.

[8] 李贝贝, 韩冰, 田甜, 等. 吉林一号视频卫星应用现状与未来发展[J]. 卫星应用, 2018, 3: 23-27.

    Li B B, Han B, Tian T, et al. Application status and future development of Jilin No.1 video satellite[J]. Satellite Application, 2018, 3: 23-27.

[9] 肖化超, 周诠, 张建华. 遥感卫星在轨机场变化检测方法[J]. 测绘通报, 2015, 1: 22-25.

    Xiao H C, Zhou Q, Zhang J H. Remote sensing satellite on-orbit airport change detection method[J]. Bulletin of Surveying and Mapping, 2015, 1: 22-25.

[10] Pi Y D, Xie B R, Yang B, et al. On-orbit geometric calibration of linear push-broom optical satellite based on sparse GCPs[J]. Journal of Geodesy and Geoinformation Science, 2020, 3(1): 64-75.

[11] 杨志柳. 面向遥感图像特殊目标检测算法的星载实时处理器实现[D]. 北京: 北京理工大学, 2016.

    YangZ L. Realization of on-board real-time processor for special target detection algorithm of remote sensing image[D]. Beijing: Beijing Institute of Technology, 2016.

[12] 王月莉, 李发红, 王占宏. 多级多源控制点影像数据库系统的设计与实现[J]. 测绘通报, 2013, 3: 86-88.

    Wang Y L, Li F H, Wang Z H. Design and implementation of multi-level and multi-source control point image database system[J]. Bulletin of Surveying and Mapping, 2013, 3: 86-88.

[13] 蒲生亮, 邓非, 张婧, 等. 控制点影像库构建与多源影像联合空三定位[J]. 遥感信息, 2017, 32(1): 71-78.

    Pu S L, Deng F, Zhang J, et al. Construction of GCP image-chips library for combining spatial triangulation georeferencing of multi-source imagery[J]. Remote Sensing Information, 2017, 32(1): 71-78.

[14] 霍门婕. 在轨影像控制点的轻量化设计与应用[D]. 郑州: 战略支援部队信息工程大学, 2021.

    HuoM J. Lightweight design and application of on-orbit image control points[D]. Zhengzhou: Information Engineering University, 2021.

[15] 纪松, 张永生, 董杨, 等. 星载轻量化影像控制点数据制作方法[J]. 测绘学报, 2022, 51(3): 413-425.

    Ji S, Zhang Y S, Dong Y, et al. Spaceborne lightweight image control points generation method[J]. Acta Geodaetica et Cartographica Sinica, 2022, 51(3): 413-425.

[16] 岳振宇, 范大昭, 董杨, 等. 一种星载平台轻量化快速影像匹配方法[J]. 地球信息科学学报, 2022, 24(5): 925-939.

    Yue Z Y, Fan D Z, Dong Y, et al. A generation method of spaceborne lightweight and fast matching[J]. Journal of Geo-Information Science, 2022, 24(5): 925-939.

[17] 王立玲, 朱旭阳, 马东, 等. 基于点线特征视觉惯性融合的机器人SLAM算法[J]. 中国惯性技术学报, 2022, 30(6): 730-737.

    Wang L L, Zhu X Y, Ma D, et al. Robot SLAM algorithm based on point-and-line feature visual inertial fusion[J]. Journal of Chinese Inertial Technology, 2022, 30(6): 730-737.

[18] 丁亚洲, 冯发杰, 吏军平, 等. 点线特征约束的LiDAR点云与航空影像自动配准[J]. 中国矿业大学学报, 2020, 49(6): 1207-1214.

    Ding Y Z, Feng F J, Li J P, et al. Automatic registration of airborne LiDAR data and aerial images constrained by point and line features[J]. Journal of China University of Mining & Technology, 2020, 49(6): 1207-1214.

[19] 欧阳欢, 范大昭, 纪松, 等. 结合离散化描述与同名点约束的线特征匹配[J]. 测绘学报, 2018, 47(10): 1363-1371.

    Ouyang H, Fan D Z, Ji S, et al. Line matching based on discrete description and conjugate point constraint[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(10): 1363-1371.

[20] 张建辰, 王艳慧, 赵文吉. 全局与局部寻优相结合的道路网匹配方法[J]. 武汉大学学报(信息科学版), 2018, 43(8): 1166-1171.

    Zhang J C, Wang Y H, Zhao W J. Matching road networks based on combination of global and local optimization[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1166-1171.

[21] 宋佳璇, 范大昭, 董杨, 等. 神经网络学习与灰度信息结合的跨视角影像线特征匹配算法[J]. 测绘学报, 2023, 52(6): 990-999.

    Song J X, Fan D Z, Dong Y, et al. Line matching algorithm for cross-view images combining neural network learning with grayscale information[J]. Acta Geodaetica et Cartographica Sinica, 2023, 52(6): 990-999.

[22] 龙伊娜, 谷玉海, 吴文昊, 等. 基于改进D-Linknet的高分遥感影像道路提取方法[J]. 激光杂志, 2023, 44(5): 162-168.

    Long Y N, Gu Y H, Wu W H, et al. Road extraction method of high resolution remote sensing image based on improved D-Linknet[J]. Laser Journal, 2023, 44(5): 162-168.

[23] Jin F, Wu H, Liu Y, et al. Varying-scale HCA-DBSCAN-based anomaly detection method for multi-dimensional energy data in steel industry[J]. Information Sciences, 2023, 647: 119479.

[24] Li M, Fan D Z, Dong Y, et al. Satellite video moving vehicle detection and tracking based on spatiotemporal characteristics[J]. Sensors, 2023, 23(12): 5771.

[25] 卢晓燕. 面向高分辨率遥感影像大范围道路提取的深度学习方法研究[J]. 武汉大学学报(信息科学版), 2023, 48(5): 821.

    Lu X Y. Research on deep learning method for large-scale road extraction from high-resolution remote sensing images[J]. Geomatics and Information Science of Wuhan University, 2023, 48(5): 821.

[26] Yang C, Gidófalvi G. Fast map matching, an algorithm integrating hidden Markov model with precomputation[J]. International Journal of Geographical Information Science, 2018, 32(3): 547-570.

[27] 宋延红, 王志成. 部分状态可见的隐马尔可夫模型的Viterbi算法[J/OL]. 数学学报(中文版): 1-12[2023-09-05]. http:∥kns.cnki.net/kcms/detail/11.2038.O1.20230508.1604.002.html.

    SongY H, WangZ C. The Viterbi algorithm of the hidden Markov model with partial state visible[J/OL]. Journal of Mathematics (Chinese Version) :1-12[2023-09-05]. http:∥kns.cnki.net/kcms/detail/11.2038.O1.20230508.1604.002.html.

李明, 董杨, 范大昭, 纪松, 宋佳璇, 高定. 面向光学遥感卫星星上定位精度优化的轻量化矢量控制库技术[J]. 光学学报, 2024, 44(6): 0628003. Ming Li, Yang Dong, Dazhao Fan, Song Ji, Jiaxuan Song, Ding Gao. Lightweight Vector Control Library Technology for Spaceborne Positioning Accuracy Optimization of Optical Remote Sensing Satellites[J]. Acta Optica Sinica, 2024, 44(6): 0628003.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!