激光与光电子学进展, 2020, 57 (16): 160002, 网络出版: 2020-08-05   

海天线检测方法研究综述 下载: 1114次

Sea-Sky Line Detection Methods: An Overview
冯天伟 1,2,3,4刘金清 1,2,3,*肖金超 4熊俊峰 4
作者单位
1 福建师范大学医学光电科学与技术教育部重点实验室, 福建 福州 350007
2 福建师范大学福建省光电传感应用工程技术研究中心, 福建 福州 350007
3 福建师范大学光电与信息工程学院, 福建 福州 350007
4 广州中国科学院沈阳自动化研究所分所, 广东 广州 510000
摘要
海天线是海空背景图像所具有的重要特征之一,海天线的检测对天空区域和海面区域的划分以及目标检测具有重要作用。然而,复杂海空背景环境中的海杂波、云层、强反射、复杂气象条件等都会给海天线检测造成困难。针对复杂背景下海天线检测的环境适应性问题,对视觉传感器获取的原始图像及图像中海天线的特点、干扰因素及其抑制方法、现有的海天线生成方法三个方面进行了详细的阐述和分析,通过对比实验列出各种海天线生成方法的优缺点和适用场景,对比分析了自行提出的形态学方法的实验结果及适用场景。最后提出海天线检测面临的挑战,展望其下一步的研究方向。
Abstract
The sea-sky line is an important feature of sea and air background images, and its detection plays an important role in the division of sky and sea areas and target detection. However, sea clutter, clouds, strong reflection, and dynamic weather conditions in the complex sea and air background environment make it difficult to detect the sea-sky line. This paper aims to address the environmental adaptability problem of sea-sky line detection in a complex background. Three aspects were analyzed in detail: the characteristics of the original image obtained by the visual sensor and those of the sea-sky line in the image; interference factors and their suppression methods; existing methods of generating the sea-sky line. Furthermore, their advantages, disadvantages, and applicable scenarios were elaborated through comparative experiments, and the proposed morphological methods were experimentally compared. Finally, the future challenges and research directions of sea-sky line detection were discussed.

1 引言

以远距离平视的角度观察海平面,得到的海空背景图像一般可以分为三个区域,从上到下依次是:天空背景区域、海天线区域、海面背景区域。但是,无人艇(USV)的工作特点决定海面背景区域为其感兴趣区域。因此,海天线检测是提取感兴趣区域的重要步骤。检测出海天线后,可利用海天线的位置有效地提取感兴趣区域。这样不但很好地抑制了感兴趣区域外不必要的噪声干扰,而且极大地缩小了目标搜索范围,提高了后续的障碍物检测和跟踪计算效率,能够满足USV实时控制的高要求,提高了USV的工程实用性。

自2003年中国科学院沈阳自动化研究所裴立力等[1]第一次提出海天线检测这个课题以来,大量的科研人员投身于海天线的检测研究。海天线的检测流程一般分为三个步骤:1)由视觉传感器捕获原始的海空背景。通常USV可通过搭载各类视觉传感器来感知和理解环境,由于各传感器成像原理的差异,由各传感器捕获的海空背景图以及图像中的海天线存在显著的差异。2)对干扰因素进行抑制。 USV通常工作在复杂的野外海域环境中,会不可避免地受到诸多干扰因素的影响,其对各干扰因素的抑制能力,直接会影响海天线检测的准确性。3)海天线生成。准确地描绘出海天线。

目前,已经提出了许多具有鲁棒性的海天线生成方法。针对直线模型的海天线,传统的关于海天线的生成方法有:基于线性拟合的方法[2-10],该方法候选点的选取非常容易受到复杂海空背景的干扰;基于图像分割的方法[11-14],该方法最佳分割阈值很难自适应地确定,算法抗噪能力差;基于梯度显著性的方法[15-18],各干扰因素具有丰富的边缘,且这些边缘拥有与海天线相似甚至高于海天线的梯度值,容易造成错误检测。经典的海天线生成方法有基于变换域的方法[19](霍夫变换[20-28]、小波变换[1,29-30]、其他变换[18,31])和基于信息熵的方法[32-33]。将变换域方法引入到海天线检测研究中,虽然解决了在复杂背景下海天线检测困难的问题,但也加大了计算量,导致实时性差,降低了工程实用性。变换域方法按照计算复杂度从高到底排序依次是:小波变换、拉冬变换、剪切波变换、霍夫变换。基于信息熵的方法,具有环境适应性强的特点,但计算量偏大。针对曲线模型的海天线,常用的生成方法有:基于椭圆拟合的方法[34-36],该方法需要先验海天线半径,然而海天线的半径不容易获得,并且当海天线部分丢失时,检测结果很不满意;基于圆拟合的方法[37-39],该方法中椭圆度较大时,算法失效。然而,在大量成熟的海天线生成方法中,大多数方法是针对某一特定的海空背景环境提出来的,极少数的算法具有很强的环境适应性。本文选择海天线检测方法为重点研究对象,从海天线检测的流程角度,对三个步骤进行详细地阐述和分析,并通过对比实验列出各中海天线检测方法的优缺点和环境适应性,并对比分析了自行提出的形态学方法的实验结果及适用场景[40],为USV感兴趣区域的提取提供参考。

2 原始图像及其海天线的特点

针对不同的作业需求,USV会搭载不同的视觉传感器。各类视觉传感器捕获的原始图像以及图像中海天线具有各自显著的特点。特点不同,选取的海天线检测方法也各不相同。所谓海天线就是海空背景图中划分天空区域和海面区域的分界线,且由像素梯度极大值点组成。目前,仍没有一种通用的方法可以应对各类视觉传感器捕获的原始图像中海天线的检测。本节依据各类视觉传感器的成像特点,对其所捕获的原始图像及图像中海天线的特点加以整理,为海天线检测算法的选取提供参考。

表 4. 不同图像中海天线的特点

Table 4. Characteristics of sea-sky line in different images

Image typeCharacteristic
Image of ordinary visible sea-sky backgroundA horizontal or inclined line of pixel gradientmaximum runs through the entire image
Panorama image of ordinaryvisible sea-sky backgroundAn ellipse or circle of pixel gradient maximumruns through the entire image (with a break)
Infrared image of sea-sky backgroundIn the figure, the regions with large changes in gray level andthe sea-sky boundary zone with low brightness gradually run throughthe whole background infrared image (with blurred)

查看所有表

表 2. 海空背景可见光全景图的特点

Table 2. Characteristics of visible panoramic images of sea and sky background

RegionCharacteristic
Panoramic equipment imaging region [34]The complexity of the panoramic image backgroundincreases and the sea antenna is fractured
Sky background regionThe reflection is strong and the brightness is large
Sea-sky line regionAn ellipse or circle of pixel gradient maximum runsthrough the entire image (with a break)
Sea surface background regionThe reflection is weak and the brightness is low

查看所有表

表 1. 普通可见光海空背景图的特点

Table 1. Characteristics of ordinary visible images of sea and air background

RegionLocationCharacteristic
Sky background regionAboveThe reflection is strong and the brightness is large
Sea-sky line regionMiddleA horizontal or inclined line of pixel gradientmaximum runs through the entire image
Sea surface background regionBelowThe reflection is weak and the brightness is low

查看所有表

当USV选择搭载普通的视觉传感器来感知和理解周围的环境时,其所捕获的原始图像为普通的可见光海空背景图,如图1所示,表1为普通可见光海空背景图的特点。

表 3. 海空背景红外图的特点

Table 3. Characteristics of infrared images of sea and sky background

RegionLocationCharacteristic
Sky background regionAboveThe reflection is strong and the brightness is large
Sea-sky line regionMiddleIn the figure, the regions with large changes in gray level andthe sea-sky boundary zone with low brightness gradually runthrough the whole background infrared image (with blurred)
Sea surface background regionBelowThe reflection is weak and the brightness is low

查看所有表

图 1. 可见光海空背景海天线。(a)水平海天线[7];(b)倾斜海天线[16]

Fig. 1. Sea-sky line of visible images of sea and air background. (a) Horizontal sea-sky line[7]; (b)inclined sea-sky line[16]

下载图片 查看所有图片

当USV选择搭载折反射全景视觉传感器来感知环境时,其所捕获的原始图像为可见光海空背景全景图,如图2所示,表2海空背景可见光全景图的特点。

折反射全景视觉传感器捕获的原始图像中海天线通常具有以下4种特点,如图3所示。

图 2. 可见光海空背景全景图[37-38]。(a)全景图;(b)示意图

Fig. 2. Visible panoramic images of sea and air background[37-38]. (a) Panoramic image; (b) schematic image

下载图片 查看所有图片

图 3. 可见光海空背景中四种典型的全景海天线。(a)完整;(b)部分丢失;(c)模糊;(d)大范围丢失

Fig. 3. Four typical panoramic sea-sky lines in visual images of sea and air background. (a) Intact; (b) partially lost; (c) blurred; (d) extensively lost

下载图片 查看所有图片

当USV搭载的是红外视觉传感器时,其所捕获的原始图像为海空背景红外图,如图4所示[7, 41],表3为海空背景红外图的特点。

针对不同的原始图像,海天线的特点如表4所示。

图 4. 海空背景红外图。(a)渐变带;(b)高对比度;(c)低对比度

Fig. 4. Infrared images of sea and sky background. (a) Gradient belt; (b) high contrast; (c) low contrast

下载图片 查看所有图片

3 干扰因素及其抑制方法

实践性的USV工作在野外的海域环境时,通常会受到诸多干扰因素的影响。正是这些干扰因素的影响,完整的海天线无法通过简单的线检测和区域分割来正确检测。主要的干扰因素总结如下。

3.1 具有直线边缘特征的干扰因素

在海空背景图中,海天线是贯穿整幅图像的一条水平或者稍微倾斜的直线,而具有直线边缘特征的强干扰因素会严重影响海天线的检测,致使海天线被定位到具有显著梯度值的干扰因素附近。

1) 海杂波:复杂海天背景中存在很多海杂波,这些海杂波是由海浪反射太阳光引起的,具有丰富的边缘。尤其是在太阳光较强的情况下,大部分海杂波具有直线特性。海杂波干扰造成图像中有大量浪峰且灰度强度接近甚至大于海天线像素点的灰度值,其梯度特征非常明显,海天线会被误定位在海杂波附近[17]图5(a)是一幅具有海杂波的可见光海空背景图;图5(d)是一幅具有海杂波的海空背景红外图。

2) 强反射光:水面对阳光形成强反射,易在图像上形成与海天线平行的亮带,由于亮带附近的梯度值很高,故会对海天线的检测造成很大的干扰[17]图5(b)是一幅具有强反射光的可见光海空背景图;图5(e)是一幅具有强反射光的海空背景红外图。

3) 云层:某些云层临近海平面且与海天线平行,其边界线形状规则且边界线上下的灰度值分布特征非常接近海天线[17]图5(c)是一幅具有云层干扰的可见光海空背景图;图5(f)是一幅具有云层干扰的海空背景红外图。

图 5. 海空背景干扰图。(a)(d)海杂波背景图及红外图;(b)(e)强反射背景图及红外图;(c)(f)云层干扰背景图及红外图

Fig. 5. Interference images of sea and sky background. (a)(d) Sea clutter image and its infrared image; (b)(e) strong reflected light image and its infrared image; (c)(f) cloud interference image and its infrared image

下载图片 查看所有图片

但与海天线不同的是这些具有直线边缘特征的强干扰边缘只是图像中的一小部分,并没有贯穿整幅图像。文献[ 1]和文献[ 29]中提出了多尺度小波变换的方法,在小尺度下算法容易受到海杂波、强光反射、光云层的干扰,因而可选取较大的分解尺度(最大分解级数为jmax=4,最大的分解尺度为 2jmax),来抑制海杂波、强光反射、光云层,突出海天线的边缘;文献[ 2]中,首先用模板对原始图像进行滤波以求出水平方向的梯度图,然后在梯度图上进行非线性阈值分割,以减少海杂波的影响;文献[ 3]中提出了区域分割的方法,该方法抑制了海杂波的影响;文献[ 20]中利用基于Canny原理的双阈值边缘检测,充分利用梯度的幅度和方向特性,去除海杂波的干扰边缘,同时不丢失海天线;文献[ 42]中,采用高斯平滑滤波对海空背景图像进行预处理,减少了云层、海杂波等的细节干扰边缘,从而较好地保留边界信息。

3.2 引起成像质量下降的干扰因素

光学系统失真、USV系统晃动以及其他天气状况(雨、雪、雾等造成能见度比较低),会造成成像质量下降[15,21,29]图6(a)是一幅能见度较低的可见光海空背景图;图6(b)是一幅能见度较低的海空背景红外图。

图 6. 低质量成像的海空背景图。(a)可见光图像;(b)红外图像

Fig. 6. Low-quality images of sea and sky background. (a) Visible light image; (b) infrared image

下载图片 查看所有图片

文献[ 1]中,基于小波的多尺度分析体现了由粗到细的思想,采用逐级细化的检测方法,对于较为模糊的图像能以较少的分解次数得出正确的检测结果;文献[ 21]中,采用Laplacian-Guass(LOG)算子(拉普拉斯锐化算子)抑制了此类干扰因素。

3.3 其他干扰因素

由于折反射全景视觉系统的成像特点,全景海域图像不仅包括了海面区域和天空区域等场景信息,还包括了全景采集设备以及搭载全景采集设备的船体成像,也称之为全景设备区干扰图像,该区增加了全景海空背景的复杂度,且造成全景海天线断裂,如图3所示。因此,进行全景海天线检测之前,对该区域的提取与分割尤为重要,以消除该区域对全景海天线检测的干扰。在全景海空背景图中全景设备区比较明显,容易引起视觉注意。

文献[ 34]中,利用全分辨率算法(Aho-Corasick Algorithm)获取全景设备区在视觉显著图中的位置,消除了该区域对海天线检测的影响;文献[ 38]中,通过计算分形维数,自动地将全景图像中全景设备区提取并分割出来,以消除其对海天线检测的影响。

实践性的USV工作在野外海域环境中,不可避免地受到天气状况、地理环境(岛礁)、视觉传感器本身等诸多方面带来的消极因素的强干扰,这就导致原本看似简单的海天线检测,不能简单地通过直线检测和区域分割的方法完整地检测出准确的海天线。因此能否很好地抑制诸多干扰因素将直接影响海天线检测结果的准确性。本节按照干扰因素的干扰特性对诸多干扰因素进行分类整理,并介绍了其抑制方法,对海天线检测算法具有指导意义。干扰特性、干扰因素以及抑制方法总结如表5所示。

表 5. 干扰特性、干扰因素以及抑制方法总结

Table 5. Summary of disturbance characteristics, disturbance factors and suppression methods

Interference characteristicInterference factorSuppression method
Linear edge characteristicSea clutter, strong light reflection, cloudsNonlinear segmentation, region segmentation,double threshold segmentation, multi-scalewavelet transform, Gaussian smoothing filtering
Low imaging qualityWeather conditions (rain, snow, fog),optical distortion, USV system shakingLaplace sharpening operator,multi-foot wavelet analysis
OthersImage occlusion of panoramic equipment regionFractal dimension calculation,full resolution algorithm

查看所有表

4 海天线生成方法

按照海天线的模型可以将海天线生成方法分为直线模型的海天线生成方法和曲线模型的海天线生成方法。

4.1 直线模型的海天线生成方法

在一幅海空背景光学图中海天线是一条贯穿整幅图像的水平或者稍微倾斜的直线。而在一幅海空背景红外图中海天线是一条贯穿整幅图像、亮度由高到低的渐变带,有一定的倾斜度,研究者在做算法研究时将其细化成一条直线。

关于直线模型的海天线生成方法可以分为:基于线性拟合的生成方法、基于梯度显著性的生成方法、基于变换域的生成方法、基于图像分割的生成方法、基于信息熵的生成方法。

1) 基于线性拟合的海天线生成方法

基于线性拟合的海天线生成方法通常分为两个步骤。首先,选择候选点,然后对候选点进行线性拟合,生成海天线的参数。

文献[ 4]中通过海天线区域的灰度特征估计出海天线的像素点,然后线性拟合生成海天线;文献[ 5]中首先用一种快速、鲁棒的线段检测方法粗略地定位海天线,然后利用一种改进的最小二乘法线性拟合生成海天线;文献[ 7]中首先搜索图像中设定区域内方差最大值的位置,并以此确定若干海天线候补点,结合随机抽样一致(RANSAC)算法生成海天线的参数;文献[ 8]中用霍夫变换粗略定位海天线,然后利用最大的加权值拟合生成海天线;文献[ 9]中利用对数尺度变换和垂直梯度对局部方差进行校正,在每个区域中选取最大方差的位置为候选点,再用RANSAC算法消除错误的候选点后进行线性拟合,生成海天线;文献[ 10]中提出了去除粗大点改进的线性拟合方法;文献[ 22]中首先利用纹理特征的灰度共生矩阵对海天线进行定位,利用大津算法(OTSU)得到自适应阈值,生成候补点,采用聚类的方法找到适应点,最后线性拟合生成海天线的参数;文献[ 39]中在每个预定义的区域中搜索相关系数最大的位置,并根据该位置确定若干候选海天线点的坐标,然后利用RANSAC算法对真实的海天线上的点进行保留,最后用最小二乘拟合内点生成海天线的参数。

基于线性拟合的海天线生成方法具有很好的鲁棒性,计算量小,准确性高,实时性好。但是该类方法仅适合比较理想的海空背景,如天空水面对比度高、海杂波稀少、天空灰度变化均匀的海空背景。这是因为候选点的选取非常容易受到复杂海空背景的干扰。

2) 基于梯度显著性的海天线生成方法

海天线区域不但具有较高梯度幅值,且梯度方向像素点特性基本一致,基于此特点,提出梯度显著性的海天线生成方法。

文献[ 2]中首先通过模板对大尺度图像进行预处理来增强海天线区域的梯度值,然后对图像进行行扫描生成海天线;文献[ 15]中提出了一种基于RGB色彩空间的全局梯度显著性计算法,梯度显著性的计算有效地增强了海天线的直线特性并抑制了各种干扰因素,采用基于梯度方向的区域生长方法实现了对海天线的识别与生成;文献[ 17]中首先根据纹理特征建立模型,再通过梯度计算和聚类分析找出候补海天线,比较纹理参数并准确生成海天线;文献[ 18]中通过梯度计算和最大值滤波找出海天线的位置,最后通过线段表连通区域原理对二值化的图像进行检测,生成海天线边缘信息。

基于梯度显著性的海天线生成方法,在比较干净的海空背景中,能够快速有效地检测出海天线。但是在比较复杂的海空背景环境中,由于海杂波、云层、太阳光强反射等使背景中含有大量的直线模型的干扰因素,且这些丰富的边缘拥有与海天线相似甚至高于海天线的梯度值,故海天线容易误检。因此,基于梯度显著性的海天线生成方法在算法处理之前有必要对干扰因素进行抑制处理。

3) 基于图像分割的海天线生成方法

基于图像分割的海天线生成方法一般将海天区域的分割线定为海天线。

文献[ 11]中提出基于二维的OTUS的海天分界线提取算法,首先通过形态学滤波器进行降噪,之后使用二维的OTSU算法进行分割,最后生成海线;文献[ 12]中将Canny方法与中值滤波相结合,根据图像的特点设计两个自适应阈值,分割出海天线;文献[ 13]中首先通过模板运算,对图像进行预处理,以增强海天线区域的图像梯度值,然后沿竖直方向进行图像分割,生成海天线;文献[ 14]中采用最大类间方差选取灰度阈值生成海天线。采用OTSU的最大类间方差方法分割后,图像毛刺凸起不明显,分割效果较好。

基于图像分割的海天线生成方法,在单一的海空背景下,算法简单,计算量小,实时性好。但面对复杂的海空背景,这类算法很难自适应地确定最佳分割阈值,算法抗噪能力差。

4) 基于变换域的海天线生成方法

将变换域的方法引入到海天线的检测研究中是一种新思路。基于变换域的海天线生成方法就是将原始图像变换到相应的变换域,然后在相应的变换域对图像进行处理,处理完之后再将图像从变换域反变换到空域,得到处理后的结果。变换域的海天线生成方法主要有:霍夫变换、小波变换、剪切波变换、拉冬变换。

(1) 霍夫变换:霍夫变换的基本原理是利用原始图像空间与参数空间中点与线的对偶性,检测原始图像中的直线。通过边缘检测得到的像素通常不能完全地表征边缘,因为存在大量的噪声点。故在执行边缘检测算法后,通常会使用霍夫变换把边缘像素组装成有意义的边缘[43]

文献[ 6]中提出首先采用水平投影法对海天线区域进行定位,然后利用霍夫变换算法生成海天线;文献[ 17]中提出利用边缘检测记录灰度变换明显的区域,然后用霍夫变换生成海天线;文献[ 20]中提出基于Canny原理的海天线检测算法研究。首先采用高斯平滑拟合在低分辨率上基于Canny算子检测边缘,然后通过直线边缘的方向特性,跟踪边界连接边缘点去除大部分的干扰,最后利用霍夫变换生成海天线;文献[ 21]中提出综合运用拉普拉斯锐化边缘检测、OTSU算法和霍夫变换的海天线生成法;文献[ 23]中提出基于结构森林边缘检测和霍夫变换的海天线生成方法,首先训练结构化森林,再用概率霍夫变换生成海天线;文献[ 24]中提出基于复杂度计算定位海天线。先计算复杂度区分天空区域和海面区域,仅利用行方向上梯度的边缘检测和霍夫变换进行连续的边缘检测,即可生成海天线;文献[ 25]中利用天空区域和海面区域不同的灰度特点,提出了基于局部改进复杂度的算法,最后用霍夫变换生成海天线;文献[ 26]中首先利用改进的线段检测方法对海天线区域进行粗略定位,然后利用霍夫变换生成海天线;文献[ 27]中首先利用周围纹理抑制的、改进的Canny算子提取轮廓边缘,然后对霍夫变换进行投票加权,精细检测水平或者倾斜的海天线;文献[ 28]中提出基于区域最优方差的两层结构的海线提取方法。利用不同的像素值将图像分为两层,两层图像通过霍夫变换提取出两条直线,如果两条直线可以看成一条直线,则取其平均值作为海天线。否则,取方差最大的那条直线为海天线。

利用霍夫变换的方法生成海天线,其优点是能够准确可靠地生成海天线,解决了海天线检测错误的问题。但是也存在着缺点,霍夫变换的方法只考虑了图像中的边缘信息,易受到具有直线边缘特性的干扰因素的影响,而且霍夫变换的计算量比较大,很难达到实时性要求,降低了其工程实用性。

(2) 小波变换:小波变换具有良好的时域、频域局部分析特性,其多尺度分析将信号在不同空间分辨率、不同频率、不同方向的特性进行研究,可以聚焦到信号的任意细节。依据小波变换模极值在多尺度上的变化规律,综合尺度信息,生成海天线。

文献[ 1]中提出了一种基于小波多尺度分析的海天线检测方法,该方法在具有一定的强反射光和海杂波干扰的图像中,依然具有很好的检测效果。文献[ 29]中利用小波变换的多尺度特性,将要检测的图像进行多尺度小波变换,采用多尺度边缘匹配,将不同尺度的输出集成为一个简单的单边缘图像,该方法能够抑制强杂波和强噪声的干扰。文献[ 30]中首先采用中值滤波和离散小波变换抑制噪声,增强对比度,然后结合小波变换产生的低频图和水平细节图,以及OTSU分割方法,生成潜在的海天线,最后利用图像的梯度信息对潜在的海天线进行验证,生成真实的海天线,该方法具有很好的鲁棒性和检测精度。

利用小波变换生成海天线的方法,优点是大尺度下抑制噪声时边缘识别可靠性高,小尺度下边缘定位准确,可以准确地生成海天线,缺点是小波变换的引入导致算法的复杂度及计算量增加,无法满足实时性要求,导致工程实用性降低。

(3) 其他变换域的海天线生成方法

文献[ 31]中提出了基于剪切波变换的海天线生成方法,该方法利用剪切波边缘检测理论,提取边缘方向,生成海天线。剪切波变换的优点是将图像分解为尺度、位置和方向的函数,可以直接提取边缘的方向信息,准确地生成海天线,缺点是与霍夫变换和小波变换类似,引入了大量的计算,导致实时性降低,无法满足工程要求。文献[ 18]中采用拉冬变换将梯度图像先以积分的形式投影到直线的参数空间,通过搜索局部峰值点生成海天线特征并确定其参数。该方法是直接利用边缘或者梯度信息进行统计分析,但在检测结果中会引入大量的虚假直线特征。

在基于变换域的海天线生成方法中,从宏观角度出发,大量的研究工作采用霍夫变换生成海天线。然而,将变换域方法引入到海天线检测研究中,虽然解决了复杂背景下海天线检测困难的问题,但也带了大量的计算,导致实时性差,降低了工程实用性。变换域方法按照计算复杂度从高到底排序依次是:小波变换、拉冬变换、剪切波变换、霍夫变换。

5) 基于信息熵的海天线生成方法

基于信息熵的海天线生成方法通过寻找最高能量线来生成海天线。

文献[ 32]中提出了基于Seam Carving的海天线生成算法。该方法将Seam Carving原理应用到图像中最高能量线的检测,通过计算图像中各点的梯度幅值,采用动态规划技术搜索最高能量线,生成海天线。该方法具有高检测精度的优点。文献[ 33]中提出基于边缘相位编码的海天线生成方法。

基于信息熵的海天线生成方法具有环境适应性强的特点,但计算量偏大。

针对以上5类海天线生成方法,本文选取基于RANSAC的线性拟合的方法[10]、基于梯度显著性的方法[15]、基于OTSU分割的方法[11]、基于Hough Transform的方法[26]、基于Seam Carving的方法[32]和自行提出的形态学的方法[40],在自己和公开的数据集中进行大量的对比实验,如图7图8所示。各方法的优缺点以及适应场景的对比说明如表6所示。

图 7. 复杂环境中各方法检测结果

Fig. 7. Test results of different methods in complex environment

下载图片 查看所有图片

图 8. 复杂环境中各方法检测结果

Fig. 8. Test results of different methods in complex environment

下载图片 查看所有图片

表 6. 直线模型的海天线生成方法总结

Table 6. Summary of generation method of sea-sky line for linear model

MethodAdvantageDisadvantageEnvironmentaladaptability
Linear fittingbased on RANSANSmall amount of calculation andgood real-time performanceThe selection of candidate points issusceptible to environmental interference
Based on gradientsignificanceHigh detection efficiencyPoor noise resistance, notconsidering the sea antenna tiltPoorenvironmentaladaptability
Based on OTSUsegmentationSmall computation and goodreal-time performanceThe threshold value ismore sensitive and the abilityto resist noise is poor
Based on the HoughtransformHigh accuracyThe calculation amount is large,the real time is poor, the engineeringpracticality is lowStrongenvironmentaladaptability
Based onSeam CarvingHigh detection accuracyLarge amount of calculation
Our methodSmall amount of calculationand high accuracyDue to environmental interference,the detected sea-sky lineis not strictly linearGood environmentaladaptability

查看所有表

4.2 曲线模型的海天线生成方法

在一幅可见光海空背景全景图像中,受折反射全景视觉传感器成像特点的影响,海天线呈椭圆形。在算法处理过程中,当海天线的椭圆度较大时,海天线被视为椭圆形;当海天线的椭圆度较小时,海天线可近似成圆形。目前文献中,针对全景海天线检测的方法很少,主要的研究团队来自哈尔滨工程大学,他们采用基于椭圆拟合和圆拟合的方法生成海天线。

1) 椭圆模型的海天线生成方法

文献[ 34]中提出了基于改进主动轮廓模型的全景海天线生成方法。该方法通过全分辨率算法获取图像的视觉显著图,提取全景设备区在图像中的位置,以消除全景设备区干扰,然后根据海天线是椭圆这一特征,将构造的形状能量约束项加入主动轮廓模型中作为新的能量函数,使主动轮廓的形状在收敛过程中受到限制,从而成功收敛在全景海天线上。该方法具有极好的检测准确性,可适应4种特点的全景图,但计算量比较大。文献[ 35]中首先用改进的基于分割的自适应阈值的Canny边缘检测,然后提出了基于最长曲线法的海天线边缘提取算法,并进行椭圆拟合生成海天线。该方法不受背景颜色信息的干扰,在复杂背景环境下,可以准确地检测出全景海天线,但计算复杂度较高。文献[ 36]中提出了一种基于椭圆拟合的方法,用于检测并提取椭圆海天线。该方法需要先验海天线半径,然而海天线的半径不容易获取,并且当海天线部分丢失时,检测结果很不满意。

2) 圆模型的海天线生成方法

文献[ 38]中提出了一种基于分形维数和改进的霍夫圆变换算法,以有效提取全景海天线。该方法通过计算分形维数自动地将全景图像中全景设备区提取并分割出来,以消除其对海天线检测的影响,然后通过搜寻最优圆心和半径,设计了一种改进的霍夫圆变换算法。该方法可适应4种全景图的特点且检测准确性极高,但计算量较大。文献[ 39]中提出了一种基于梯度方向的全方位圆形海天线提取方法。该方法利用圆形海天线上的梯度方向都指向圆心作为检测条件,当海天线的椭圆度较大时,此条件不具备,故算法失效。

针对曲线模型海天线的生成方法,本文比较了基于椭圆拟合的方法[35]和基于圆拟合的方法[38]的检测结果,如图9所示,两个方法的优缺点以及环境适应性,如表7所示。

图 9. 复杂环境中各方法检测结果

Fig. 9. Test results of different methods in complex environment

下载图片 查看所有图片

表 7. 全景海天线生成方法总结

Table 7. Summary of generation method of panoramic sea-sky line

MethodAdvantageDisadvantageEnvironmental adaptability
Circle fittingHigh detectionaccuracyThe prior radius is not easy to obtain,the calculation is large, and thereal-time is poorStrong environmentaladaptability
Ellipse fittingWhen the ellipticity is large, the algorithmfails, the computation is large, and thereal-time performance is poor

查看所有表

5 结束语

无人艇在海洋侦察、水面监控、水上救援等领域具有极其广阔的应用前景。海天线的准确识别、跟踪与定位,以及水域边界线的准确描述是无人艇在水面安全行驶的基本要求。但是目前大量的研究主要集中于单纯的海天线检测,对于海天线的跟踪与定位以及准确描述没有深入的研究。本文从海天线检测的流程角度出发,对现有的海天线检测方法的关键点进行总结和分析,归纳出了未来仍需要重点研究的内容。

1) 现有的关键技术已能解决海天线检测的准确性、鲁棒性问题。然而在复杂的水域环境以及实时性要求高的工程应用中,海天线检测面临着严峻的挑战,未来的工作中,我们应该改进算法,提高算法的实时性和环境的适应性。

2) 单纯的海天线检测意义不大。深入研究海天线的跟踪与定位,并实时准确地描述海天线的位置,是未来的重点研究内容。

3) 目前还没有学者将深度学习的算法和框架用于海天线的识别、跟踪与定位。这将是未来研究的新趋势。

4) 无人艇出发执行任务时,需要实时识别、跟踪与定位海天线,当无人艇返航时,需要实时识别、跟踪与定位水岸线[40],以保证无人艇安全靠泊。因此,我们应该致力于研究海天线-水岸线检测系统[44],为无人艇保驾护航,这是未来研究的新思路。

参考文献

[1] 裴立力, 史泽林, 罗海波. 一种基于小波多尺度分析的水天线检测方法[J]. 沈阳工业大学学报, 2003, 25(2): 125-128.

    Pei L L, Shi Z L, Luo H B. Detection of sea-level based on wavelet multi-scale analysis[J]. Journal of Shenyang University of Technology, 2003, 25(2): 125-128.

[2] Liu S J, Jiang M, Zhuang L. A fast and effective algorithm for sea-sky-line extraction in infrared images[J]. Infrared Technology, 2011, 33(4): 230-232.

[3] Jiang CL, Jiang HH, Zhang CL, et al.A new method of sea-sky-line detection[C]∥2010 Third International Symposium on Intelligent Information Technology and Security Informatics, April 2-4, 2010, Jinggangshan, China.New York: IEEE Press, 2010: 740- 743.

[4] Hong P, Lei B, Ren T T, et al. A fast sea-level line extraction and object detection method for infrared sea image[J]. ∥Proceedings of SPIE, 2014, 9300: 930007.

[5] MaT, MaJ, Fu WX. Sea-sky line extraction with linear fitting based on line segment detection[C]∥2016 9th International Symposium on Computational Intelligence and Design (ISCID), December 10-11, 2016, Hangzhou, China.New York: IEEE Press, 2016: 46- 49.

[6] JiZ, Su YT, WangJ, et al.Robust sea-sky-line detection based on horizontal projection and Hough transformation[C]∥2009 2nd International Congress on Image and Signal Processing, Octber 17-19, 2009, Tianjin, China.New York: IEEE Press, 2009: 1- 4.

[7] 桂阳, 李立春, 王鲲鹏, 等. 基于区域方差和RANSAC的海天线检测新方法[J]. 激光与红外, 2008, 38(11): 1149-1151.

    Gui Y, Li L C, Wang K P, et al. A new method of sea-sky-line detection based on region variance and RANSAC algorithm[J]. Laser & Infrared, 2008, 38(11): 1149-1151.

[8] Lan J H, Jia Z L, Wu C H, et al. Sea-land-line extraction using weighted optimum neighborhood algorithm[J]. Proceedings of SPIE, 2013, 9045: 90451M.

[9] Park JH, Nam KG, Joo J H. A partially occluded sea-sky line detection algorithm[EB/OL].2012[ 2019-10-23]. http: ∥worldcomp-proceedings. com/proc/p2011/IPC3223. pdf.

[10] 时磊, 赵军, 叶宗民. 一种基于直线拟合法的新的海天线检测方法[J]. 红外, 2011, 32(8): 25-28.

    Shi L, Zhao J, Ye Z M. A new method for sea-sky-line detection based on linear fitting algorithm[J]. Infrared, 2011, 32(8): 25-28.

[11] 韩嘉隆, 毛征, 王宁, 等. 基于二维OTSU的海天分界线提取算法[J]. 国外电子测量技术, 2016, 35(8): 67-70.

    Han J L, Mao Z, Wang N, et al. Algorithm for sea-sky-line extraction based on two-dimension OTSU[J]. Foreign Electronic Measurement Technology, 2016, 35(8): 67-70.

[12] Lu JW, Ren JC, LuY, et al.A modified Canny algorithm for detecting sky-sea line in infrared images[C]∥Sixth International Conference on Intelligent Systems Design and Applications, October 16-18, 2006, Jinan, China.New York: IEEE Press, 2006: 289- 294.

[13] 吴滢跃, 汤心溢, 刘士建, 等. 一种基于图像分割的海天线提取算法[J]. 红外技术, 2012, 34(10): 584-587.

    Wu Y Y, Tang X Y, Liu S J, et al. A method for sea-sky-line detection based on image division[J]. Infrared Technology, 2012, 34(10): 584-587.

[14] 谢红, 刘玲, 刘艳艳. 复杂海天线区域检测算法研究[J]. 应用科技, 2006, 33(6): 96-98.

    Xie H, Liu L, Liu Y Y. Research on complicated sea-sky-line area detection algorithm[J]. Applied Science and Technology, 2006, 33(6): 96-98.

[15] Wang B, Su Y M, Wan L. A sea-sky line detection method for unmanned surface vehicles based on gradient saliency[J]. Sensors, 2016, 16(4): 543-560.

[16] 王博, 苏玉民, 万磊, 等. 基于梯度显著性的水面无人艇的海天线检测方法[J]. 光学学报, 2016, 36(5): 0511002.

    Wang B, Su Y M, Wan L, et al. Sea sky line detection method of unmanned surface vehicle based on gradient saliency[J]. Acta Optica Sinica, 2016, 36(5): 0511002.

[17] 王兵学, 雍杨, 霍义华, 等. 基于纹理特征分析的海天线检测方法[J]. 红外技术, 2013, 35(1): 42-46.

    Wang B X, Yong Y, Huo Y H, et al. Sea-sky-line detection algorithm based on texture analysis[J]. Infrared Technology, 2013, 35(1): 42-46.

[18] 汪劲希, 燕肇一, 彭真明. 复杂背景下海天线的连通域检测法[J]. 舰船科学技术, 2016, 38(15): 108-112.

    Wang J X, Yan Z Y, Peng Z M. A sea-sky-line detection algorithm based on the method of connected area detection under complicated background[J]. Ship Science and Technology, 2016, 38(15): 108-112.

[19] 彭明阳, 王建华, 闻祥鑫, 等. 结合HSV空间的水面图像特征水岸线检测[J]. 中国图象图形学报, 2018, 23(4): 526-533.

    Peng M Y, Wang J H, Wen X X, et al. Shoreline detection method by combining HSV spatial water image feature[J]. Journal of Image and Graphics, 2018, 23(4): 526-533.

[20] 董宇星, 刘伟宁, 王爽. 基于Canny原理海天线检测算法研究[J]. 计算机测量与控制, 2010, 18(3): 697-698, 702.

    Dong Y X, Liu W N, Wang S. Study of sea-sky-line detection algorithm based on Canny theory[J]. Computer Measurement & Control, 2010, 18(3): 697-698, 702.

[21] 黄英东, 范宁军, 李杰. 一种基于海天线检测的舰船定位方法[J]. 弹箭与制导学报, 2008, 28(5): 286-288.

    Huang Y D, Fan N J, Li J. A method of ship position based on sea-sky-line detection[J]. Journal of Projectiles, Rockets, Missiles and Guidance, 2008, 28(5): 286-288.

[22] LiangD, Zhang WG, Huang QZ, et al.Robust sea-sky-line detection for complex sea background[C]∥2015 IEEE International Conference on Progress in Informatics and Computing (PIC), December 18-20, 2015, Nanjing, China.New York: IEEE Press, 2015: 317- 321.

[23] 徐良玉, 马录坤, 谢燮, 等. 基于结构森林边缘检测和Hough变换的海天线检测[J]. 上海大学学报(自然科学版), 2017, 23(1): 47-55.

    Xu L Y, Ma L K, Xie X, et al. Sea-sky line detection based on structured forests edge detection and Hough transform[J]. Journal of Shanghai University (Natural Science Edition), 2017, 23(1): 47-55.

[24] Wang P, Tian J W, Gao C Q. Locating sea-sky line in infrared image based on complex degree calculation[J]. Proceedings of SPIE, 2009, 7494: 74941P.

[25] Dong YF, ZhuC, Zhang YF, et al.Extracting sea-sky-line based on improved local complexity[C]∥2010 International Conference on Computer, August 24-26, 2010, Changchun, China.New York: IEEE Press, 2010: 82- 85.

[26] MaT, MaJ. A sea-sky line detection method based on line segment detector and Hough transform[C]∥2016 2nd IEEE International Conference on Computer and Communications (ICCC), October 14-17, 2016, Chengdu, China.New York: IEEE Press, 2016: 700- 703.

[27] 曾文静, 万磊, 张铁栋, 等. 基于海面可见光图像的海界线快速检测[J]. 光学学报, 2012, 32(1): 0111001.

    Zeng W J, Wan L, Zhang T D, et al. Fast detection of sea line based on the visible characteristics of marine images[J]. Acta Optica Sinica, 2012, 32(1): 0111001.

[28] Liu XY, Zhao CB, Zhang SP, et al.A 2-layered structure sea-sky-line detection algorithm based on regional optimal variance[C]∥2017 13th IEEE International Conference on Electronic Measurement & Instruments (ICEMI), October 20-22, 2017, Yangzhou, China.New York: IEEE Press, 2017: 486- 490.

[29] 张冰, 赵凝霞, 刘维亭, 等. 基于小波变换的水天线提取算法研究[J]. 激光与红外, 2005, 35(4): 297-299.

    Zhang B, Zhao N X, Liu W T, et al. Research on water-sky-line detection technique based on wavelet transform[J]. Laser & Infrared, 2005, 35(4): 297-299.

[30] Wang X P, Zhang T X, Yan L X, et al. A method of sea-sky-line detection in complex sea background[J]. Proceedings of SPIE, 2009, 7495: 74950U.

[31] Zou RB, Shi C C. A sea-sky line identification algorithem based on shearlets for infrared image[J]. Advanced Materials Research, 2013, 846/847: 1031- 1035.

[32] 梁世花, 吴巍, 李波, 等. 基于Seam Carving的海天线检测算法[J]. 红外与激光工程, 2013, 42(10): 2817-2821.

    Liang S H, Wu W, Li B, et al. Sea-sky-line detection algorithm based on Seam Carving[J]. Infrared and Laser Engineering, 2013, 42(10): 2817-2821.

[33] 孙熊伟, 徐青山, 蔡熠, 等. 基于边缘相位编码的复杂背景下海天线检测[J]. 光学学报, 2017, 37(11): 1110002.

    Sun X W, Xu Q S, Cai Y, et al. Sea sky line detection based on edge phase encoding in complicated background[J]. Acta Optica Sinica, 2017, 37(11): 1110002.

[34] 苏丽, 吴俊杰, 庞迪. 基于改进主动轮廓模型的全景海天线检测[J]. 光学学报, 2016, 36(11): 1115003.

    Su L, Wu J J, Pang D. Panoramic sea-sky-line detection based on improved active contour model[J]. Acta Optica Sinica, 2016, 36(11): 1115003.

[35] Bian WK, Zhu QD. The sea-sky-line edge detection method based on panoramic images[C]∥2015 IEEE International Conference on Mechatronics and Automation (ICMA), August 2-5, 2015, Beijing, China.New York: IEEE Press, 2015: 2443- 2448.

[36] SuL, ZhouN, Xu CY, et al.On the small ship target detection based on panoramic vision[C]∥Proceedings of the 32nd Chinese Control Conference, July 26-28, 2013, Xi'an, China.New York: IEEE Press, 2013: 3575- 3579.

[37] Su L, Pang D. Circle sea-sky-line extraction in panoramic images[J]. Optics and Precision Engineering, 2015, 23(11): 3279-3288.

[38] LiS, DiP, Liu ZL. Panoramic sea-sky line extraction based on improved Hough circle transform[C]∥2015 34th Chinese Control Conference (CCC), July 8-30, 2015, Hangzhou, China.New York: IEEE Press, 2015: 3690- 3694.

[39] SuL, Yin YS, Liu ZL. Small surface targets detection based on omnidirectional sea-sky-line extraction[C]∥Proceedings of the 33rd Chinese Control Conference, July 28-30, 2014, Nanjing, China.New York: IEEE Press, 2014: 4732- 4736.

[40] Feng TW, Xiong JF, Xiao JC, et al.Real-time riverbank line detection for USV system[C]∥2019 IEEE International Conference on Mechatronics and Automation (ICMA), August 4-7, 2019, Tianjin, China.New York: IEEE Press, 2019: 2546- 2551.

[41] Gui Y, Yang X, Zhu X W, et al. Sea-sky-line detection based on phase grouping and gray statistics[J]. Journal of National University of Defense Technology, 2011, 33(6): 111-115.

[42] GaoY, Hu SH, Miao ZJ, et al.Research on sea-sky-line detection in complex sea background[C]∥Second International Conference on Innovative Computing, September 5-7, 2007, Kumamoto, Japan.New York: IEEE Press, 2007: 452.

[43] Gonzalez RC, Woods R E Digital image processing[M]. Ruan Q Q, Ruan Y Z, Transl. 3rd ed. Bejing: Electronic Industry Press, 2011: 118.

    Gonzalez RC, Woods RE. 数字图像处理[M]. 阮秋奇, 阮宇智, 译. 3版. 北京: 电子工业出版社, 2011: 118.

[44] 仇荣超, 吕俊伟, 宫剑, 等. 前视红外图像中海岸线与海天线的通用检测方法研究[J]. 兵工学报, 2019, 40(6): 1171-1178.

    Qiu R C, Lü J W, Gong J, et al. Research on general detection method of coastline and sea-sky line in FLIR image[J]. Acta Armamentarii, 2019, 40(6): 1171-1178.

冯天伟, 刘金清, 肖金超, 熊俊峰. 海天线检测方法研究综述[J]. 激光与光电子学进展, 2020, 57(16): 160002. Tianwei Feng, Jinqing Liu, Jinchao Xiao, Junfeng Xiong. Sea-Sky Line Detection Methods: An Overview[J]. Laser & Optoelectronics Progress, 2020, 57(16): 160002.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!