激光与光电子学进展, 2018, 55 (3): 031011, 网络出版: 2018-09-10   

基于图像修复技术的目标可见光伪装效果评价 下载: 1294次

Optical Camouflage Effect Assessment Based on Digital Image Inpainting Technology
作者单位
中国人民解放军空军工程大学航空航天工程学院, 陕西 西安 710038
摘要
为客观、准确地评价目标可见光的伪装效果,提出一种基于图像修复技术的伪装效果评价方法。利用具有针对性改进的图像修复技术构造伪装目标所在区域与周围背景融合度高的理想伪装图案;采用无参考图像质量算法得到理想伪装纹理近似度(即修复效果度量)以消除误差;对待评价伪装目标与近似理想伪装进行相似度检验;融合理想伪装近似度与结果相似度值对目标伪装效果进行综合评价。仿真结果表明,该评价方法的结果与目视观察的结果具有较好的一致性,可有效评价目标伪装效果。
Abstract
In order to evaluate the optical camouflage effect of target objectively and precisely, we propose a camouflage effect evaluation model based on digital image inpainting technology. We use optimized image inpainting algorithm to obtain the ideal camouflage texture in the region, which is covered by camouflaged target, and then use the effect value measured by no-reference-image quality assessment to eliminate error. The comprehensive evaluation which combines structure similarity metric with approximate value of ideal camouflage texture is established to evaluate the camouflage effect of target. The simulation results show that the results of the proposed evaluation model are similar to the visual observed results, which can effectively evaluate the camouflage effects of target.

1 引言

通过**侦察活动获得的图片,包含有待识别的伪装目标及其周围的背景信息,且背景区域在图像中占比较大。目标可见光伪装效果主要体现在伪装目标与背景的融合程度上,即伪装目标的各图像特征与其周围的背景图像特征越相似,说明目标的伪装效果越好[1]

为了提升目标防可见光侦察的伪装效果,需对其进行科学评估和分析,常见的伪装效果评估是基于光学伪装图片进行人工判读[2],其结果可靠,**侦察领域。但是该项工作的可操作性差,需要消耗大量的人力、物力和时间;而且实验结果只能在侦察活动中对伪装目标进行识别,无法进一步对目标伪装效果进行量化评价,对目标伪装效果的优化指导意义不大[3-4]

针对伪装效果人工判读方法存在的问题,有学者提出伪装效果客观评价方法,思路是:首先,分别提取伪装目标区域和背景区域的颜色、纹理以及亮度等图像特征;然后,通过相似度计算,构造距离函数;最后,判定目标与背景的相似性,从而对伪装效果做出评价。Lin等[2]利用图像质量评估技术计算伪装目标与所在背景之间的相似度来判断目标伪装效果;王贺等[5]提取图像的统计、颜色和纹理等特征,在容限空间中计算背景与目标并集集合的所有容限近似类,利用近似测量(tHD)指标评价伪装效果;贾其等[6]基于人眼视觉注意机制的原理建立了伪装效果评价模型;Xue等[7]通过融合背景相关特征的相似度信息和非背景相关特征的差异性信息,完成对数码迷彩伪装性能的评价分析。但是这类方法只是简单地划分伪装目标区域与背景区域,忽略了两者间接触部位(目标轮廓周围区域)对伪装效果评价的影响,而根据人眼视觉理论的研究,人眼在捕获所注意目标的过程中,目标的轮廓信息具有重要作用[8]

针对上述方法的不足,本文将“伪装目标-周围背景”相似度检验,更新为“伪装目标-近似理想伪装图案-周围背景”相似度检验,提出一种基于图像修复技术的目标可见光伪装评价方法。首先,利用优化的图像修复技术填补被伪装目标覆盖的背景区域,获得与背景融合度高的近似理想伪装图案,并利用无参考图像质量Brisque算法计算理想伪装纹理近似度(即修复效果值)以消除误差;其次,利用图像结构相似度(SSIM)对待检测与理想的伪装图案进行相似度检验;最后,融合理想伪装近似值与SSIM值对伪装效果进行综合评价。

2 近似理想伪装图案

2.1 近似理想伪装图案的构造

图1所示,从图像处理的角度,可以将可见光侦察图片视为残缺的、部分区域受损的、仅含背景信息的图像,记为Φ,其包含修复所依赖的像素样本信息;而伪装目标所覆盖的位置即为该图像的“残缺区域”,记为ΩΩ为伪装目标外形轮廓,即待修复区域的边界;p为目标轮廓δΩ上任一点,Ψp为以p点为中心的待补全块。

图 1. 光学侦察图像各区域示意图

Fig. 1. Sketch map of camouflaged target and background

下载图片 查看所有图片

利用图像修复技术进行填充,使得原本被伪装目标覆盖的Ω获得与Φ相似的图像特征,并将修复结果视为该背景下的理想伪装方案,然后通过与待评价伪装方案的相关参数进行对比,实现对该目标伪装效果的评价。

图像修复技术通过遍历目标区域的每个像素点进行修复工作,该处理方式可以在伪装效果评价中考虑目标与背景接触部位的影响,将伪装目标的外形轮廓信息作为效果评价中一类信息,可以弥补现有方法所忽略的问题。

一般的图像修复技术适合于修复斑点、线条等类的破损区域,不足之处是修复面积小,丢失信息少,不适合于侦察图片中伪装目标区域占比较大的实际应用背景。Criminisi等[8]提出的基于样本的图像修复技术在处理大面积破损区域图像修复方面效果优于其他方法。因此,考虑到近似理想伪装图案的构造以及Luo等[9]关于图像修复技术的研究,本文在该图像修复方法的基础上,具有针对性地进行适当改进。

步骤1)在获得的针对伪装目标的可见光侦察图片中,利用图像分割技术(MATLAB中的imfreehand函数),将提取目标的轮廓作为待填充区域的初始边界。

步骤2)重复以下步骤:

①判断是否还存在待填充区域,如果不存在,流程结束;否则,进入下一步骤。

②计算边界上每一个像素点块的优先级,p点的优先级可定义为

P(p)=C(p)×D(p),(1)

式中C(p)为置信度项,用来平衡目标块Ψp中已知背景信息的比例,该模块中已知像素的数量越多,其值越大,该块越先被修复;D(p)为数据项,表示p点的等幅强度,强度越强,其值越大,该块越先被修复。

在实际应用中,边界上某一像素点所更新的置信度值可能退化为零,此时无法根据节点的优先权修复待填充区域,这会导致程序中止[10]。若将优先级计算公式修改为P(p)=C(p)+D(p),即可避过因其中任一项为零而导致优先级退化为零的困境,从而解决程序中断的问题,而又不影响优先级大小的判断。

③根据步骤②的计算结果确定边界上所有像素点中优先级最大的点,基于该点在图像的背景区域中查找最佳匹配块,搜索该点的最佳匹配块 Ψq˙。通常,最优匹配块定义为

Ψq˙=argminΨqΦd(Ψp˙,Ψq),(2)

式中 Ψp˙Ψq分别为以像素点 p^q为中心的像素块,d( Ψp˙,Ψq)表示 Ψp˙Ψq之间的距离,定义为各自像素块内所有点pijqij的直接像素差平方和(SSD),即

SSSD=i=1mj=1n(pij-qij)2(3)

(3)式能够给出图像中的结构信息,如果直接通过该结果搜索最佳匹配块,会忽略其颜色信息,而颜色信息在人眼发现目标过程中起到重大作用。故可在d( Ψp˙,Ψq)中引入颜色匹配度量,使其更符合人眼的观察原理,从而获得更符合与人类视觉理论相匹配的信息,具体表达式为

d(Ψp˙,Ψq)=SSSD+S(Ψp˙)-S(Ψq),(4)

式中S( Ψp˙)、S(Ψq)分别为目标块与匹配块的RGB颜色的方差平均值,

满足优化后的d( Ψp˙,Ψq)项达到最小值时,Ψq即为最优匹配块 Ψq˙,此时,将最优匹配块 Ψq˙中相应的信息复制到最优待填补块 Ψp˙中,即完成一次填补工作。

步骤3)填补 Ψp˙中的信息后,重新确定待填补区域,重新计算更新后边界各点的置信度

C(p)=C(p^),pΨp˙Ω,(5)

更新受到上一次修复影响的待修复区域边界点的优先级。

步骤4)返回步骤2)的填补过程,直至图像中所有的待填补区域像素点填补完毕,即得到近似理想伪装图案。

2.2 理想伪装图案近似度计算

2.1节利用图像修复技术获得了特定背景下的近似理想伪装图案,如果直接与实际伪装方案进行对比,并对其伪装效果进行评价,就不可避免地引入了图像修复技术构造的近似理想伪装图案的误差,并在效果评价中进一步放大,进而降低结果的可靠性。故有必要对其构造的近似理想伪装图案进行近似度计算,一方面可以对修复效果进行客观评价;另一方面可以利用计算结果作为参考指标来描述修复效果图与理想伪装纹理的接近程度,并作为参数对目标伪装效果进行综合判断。

由于实际情况下无法获取伪装目标所覆盖的背景区域块图像,通过与原有图像进行比对的方法将失效。所以采用无参考图像质量评价Brisque算法[11]评价图像修复效果,其质量得分记为Bri。该方法基本思想是:计算图像多尺度的对比度去均值归一化系数,再对这些系数及其沿不同方向的相关系数进行非对称广义高斯拟合,将所得参数作为特征,具体算法不再赘述。

该算法所给出的Bri分布在[0,100]范围内,且Bri越大,图像质量越差,零值表示无失真图像。故记修复效果图的理想伪装近似度为App,将其进行归一化,得到

App=100-Bri100(6)

该值越大,说明结果越接近理想伪装,即伪装效果越好,满分值1表示得到与背景相一致的理想伪装。

3 伪装评价方法的建立

众多的伪装效果评价研究总是简单地分割伪装目标所在区域与其周围的背景区域,再对两者各自的图像特征进行相似度计算,忽略了伪装目标区域与周围背景区域的接触部位对评价结果的影响。此外,考虑到图像本身的结构、纹理特征和颜色过渡,理想伪装图案并不要求与周围背景完全一致,而是要求其与周围背景尽可能融合,客观上表现为图像特征在伪装目标区域不存在与背景区域较大的波动,即背景区域的各项图像特征在伪装目标区域的平滑过渡,不至于出现某个特征突然“断层”,破坏整体图像的平滑性。

因此,精确的伪装效果评价方法并非比对伪装目标与其周围背景的相似度,而是先获取被伪装目标覆盖区域的近似理想伪装图案,再将其与原始伪装图像进行相似度检验。

3.1 相似度检验

为获得更接近人眼视觉系统特性的结果,利用图像的亮度、对比度和结构度表征图像的结构信息,计算原始伪装图像(记为X)与近似理想伪装纹理(修复效果图,记为Y)的相似度,具体公式为

SSSIM=l(X,Y)·c(X,Y)·s(X,Y)=2μxμy+C1μX2+μY2+C1·2σXσY+C2σX2+σY2+C2·σXY+C3σXσY+C3,(7)

式中μXμY, σX2σY2σXY分别为图像XY的均值、方差和协方差。l(X,Y)、c(X,Y)、s(X,Y)分别表示图像的亮度比较、对比度比较和结构的比较。C1C2C3(C3=C2/2)为常量,其目的是为了避免分母为零而出现不稳定情况。

SSSIM的取值范围为[0,1],该值越接近1,表明待比较的两幅图像相似度越大,即待评价的伪装效果越接近于理想伪装效果。

3.2 综合评价指标

在设计综合评价指标时,首先应明确各具体指标之间的关系。具体指标之间的关系通常包含:1) 横向的并列关系,各指标相互独立地影响综合评价结果;2) 纵向的递进关系,一指标通过影响另一指标,从而间接影响最终评价结果。

本文提出的理想伪装近似度与结构相似度指标是纵向的递进关系,两者之间的关系表现为:作为理想伪装衡量标准的近似度值越接近1,与其进行对比的待评价伪装图案所得到的结构相似度值越精确,就越能反映伪装效果的优劣;反之,若理想伪装近似度较小,说明所得到的近似理想伪装图案效果差,如果再将其与待评价伪装图案进行相似度检验,就会使评价结果中引入较大误差,进而使所设计的评价方法因为误差较大而失效。

对于横向并列关系的多指标体系采用加权相加法进行科学设计,并通过权重比分配实现不同权值对伪装效果的影响程度。考虑到两个性能指标的纵向递进关系,并结合各指标的自身变化对伪装效果优劣反映的基础上,借鉴了文献[ 7]提出的乘法指数形式[A×B;A,B=exp(ki)]的融合策略,该方法的优点在于:运用乘法运算及指数函数表达指标间的递进关系,并通过设置权重比k1k2实现各性能指标对评价结果的影响[7]

由此,将两性能指标进行乘法指数融合,得到最终的伪装效果综合评价指标,具体表达式为

Sours=expk11-1AppA·expk21-1SSSIMB,k1+k2=1,(8)

式中k1k2分别为理想伪装近似度指标和图像结构相似度指标的权重系数,该值由专家打分给出,具体比例关系可设置为k1k2=1…4。

A项用来量化由图像修复技术构造的近似理想伪装图像引入的误差,当App=1时,A项值为1,此时该项对综合评价指标不产生影响,表示获得了理想伪装图案,未引入误差的情况;而当App=0时,A项趋近于0,致使综合评价值也趋近于0,表示无法进行伪装效果评价。当App在(0,1)范围时,A项在(0,1)范围波动,且与App呈正相关,满足伪装综合评价指标的需求。

B项是由图像结构相似度SSSIM构造的指数类指标。SSSIM取值范围为[0,1],即限定了B项值在[0,1]内,其具体变化关系与A项相同。

由此,融合理想伪装纹理相似度的综合评价指标的取值范围确定为[0,1],就可以根据综合评价值判断伪装效果的好坏,如果其值越接近1,说明伪装效果越好,从数值量化角度对伪装效果进行评价。

4 模型验证与应用

图 2. 程序框架图

Fig. 2. Flow chart of the proposed procedure

下载图片 查看所有图片

利用所建立的模型编制相应软件,其流程如图2所示。为了验证本文方法的合理性与有效性,选取5幅光学伪装图像,利用计算机仿真进行综合评价,并利用图像分割技术提取目标区域轮廓,提取过程如图3所示。

预准备工作:选取4幅典型背景下不同伪装目标光学图像,用以验证该算法的普适性。如图4(a)~(d)所示,4幅图像分别是:依托周围植物遮障的隐蔽防护门;戈壁背景中着荒漠迷彩服狙击手;丛林背景下静止的迷彩伪装车;枯树干上赋有伪装色的昆虫机器人。同时为了增强实验设计的科学性,选取操场上未实施伪装的人员作为对照实验,如图4(e)所示。

组织50名不同专业的学员,经过针对性训练后,对5幅图像中的伪装目标进行人工判读,然后对5个目标的伪装效果进行由优至劣排序,并统计各类排序结果的占比。可以发现,排序结果为a>d>b>c≫e占总排序结果的55%,远大于其他(5!-1)种可能排序结果,再列出其他占比较大的3种结果分别为:a>d>b>c≫e,21%;d>c>a>b≫e,13%;a>b>c>d≫e,6%。因此可以将a>d>b>c≫e的排序结果作为后续评价各类伪装效果评价方法优劣的依据。

1) 理想伪装纹理获取。通过图像修复技术对目标区域进行相关信息填充,获得近似理想伪装图案,并与原始修复技术处理的效果图进行对比,结果如图4所示。

综合图4(a)~(e)可知,总体上,利用图像修复技术构造的理想伪装图案与周围背景的融合度高。对比传统修复的结果,优化后的修复技术所得到的视觉效果更好,表现在填补后的区域与边界处的纹理更协调,结构、颜色和亮度等图像特征过渡更平滑,更接近原始自然图像,说明改进后的修复技术所处理的结果与背景的相似度更大,修复效果图更接近理想伪装图案。

图 3. 目标区域提取

Fig. 3. Extraction of target area

下载图片 查看所有图片

图 4. 构造理想伪装图案。(a)隐蔽防护门;(b)狙击手;(c)伪装车;(d)昆虫机器人;(e)未实施伪装的人

Fig. 4. Creating ideal camouflage texture. (a) Concealed protective door; (b) sniper; (c) camouflage car; (d) bug robot; (e) undisguised person

下载图片 查看所有图片

2) 理想伪装图案近似度量化。利用Brisque算法量化两种方法得到的近似理想伪装图案的修复效果和近似度,结果如表1所示,a~e分别对应图4(a)~(e)。

表 1. 理想伪装图案近似度

Table 1. Approximate values of ideal camouflage texture

Camouflaged patternabcde
Traditional methodBri14.81122.10636.68421.56487.485
App0.85190.77890.63320.78440.1252
Proposed methodBri11.33521.90128.15814.05890.251
App0.86650.78100.71780.85940.0975

查看所有表

表1可知,对于不同背景以及不同的伪装目标,图4(a)~(e)所构造的理想伪装图案近似度均较高,表示各效果图较接近各自特定背景下的理想伪装,说明选取图像修复技术用来构造理想伪装图案合适。基于该技术进行适当改进,使其更适应各类理想伪装图案的获取。在结果上主要体现为:背景颜色单一且其结构度并不复杂的情况下,改进的优势不明显,如图4(a)、(b)和(e)所示;但是,当背景颜色亮度信息丰富,且图像结构纹理等较复杂时,改进方法的修复效果要优于原有技术的修复效果,如图4(c)、(d)所示。

3) 综合评价值计算。计算原始伪装图像(人工伪装)与修复效果图(近似理想伪装)的SSIM,利用所提出的综合评价指标,结合SSIM与理想伪装图案近似度对5幅图案进行目标伪装效果评价,结果如表2所示,a~e分别对应图4(a)~(e)。

表2可知,所选5幅伪装图案中目标的伪装效果由优至劣顺序为a>d>b>c≫e;而单纯由SSIM评价伪装效果的结果为d>a>c>b≫e,由此可知,传统的由SSIM评价比较单一,本文的综合评价指标更接近人工判读结果(a>d>b>c≫e)。

表 2. 目标伪装效果综合评价值

Table 2. Evaluation values of target's camouflage effect

Camouflaged patternabcde
SSIM0.91860.83890.88630.92310.00001
Sours0.90340.81010.80420.9012→0

查看所有表

4)不同评价方法对比。为了更加客观验证本文方法的有效性,结合文献[ 6]、文献[ 2]和文献[ 7]的评价方法对图4(a)~(e)的伪装效果进行评价,并与本文方法进行对比。为便于比较,将各方法的结果值进行归一化。

文献[ 6]方法通过统计各个伪装目标的发现时间TLin进行目标伪装效果评价[2],其特点是某一目标的发现时间越长,说明伪装效果越好,且发现时间的理论取值范围为[0,∞),故利用统计知识进行归一化处理,可以得到

RLini=TLini-TLinminTLinmax-TLinmin,(9)

式中TLini为第i个目标的发现时间,TLinmaxTLinmin分别为实验中发现时间的最大值与最小值。

文献[ 2]方法利用目标的发现概率PJia进行伪装效果评价[6],其特点是发现概率取值范围为[0,1],且发现概率越小,说明伪装效果越好,同样对其进行归一化处理,得到

RJiai=1-PJiai(10)

文献[ 7]方法给出的综合评价值SXue的取值范围本身为[0,1],其取值越小表明伪装效果越好[7],故仅对其进行处理

RXuei=1-SXuei(11)

对3种评价方法的结果进行归一化处理后,将各个结果统一到[0,1]之间,且满足结果取值越接近于1,伪装效果越好的要求。此时,可以在同一标准下对比各个方法,此处不再列出各评价方法的原始结果,表3仅给出归一化结果。

表 3. 不同方法评价结果对比

Table 3. Comparison with different evaluation results

Camouflaged patternabcde
RLin10.89420.65840.45470
RJia0.74260.69680.77290.85190.00005
RXue0.86350.77810.69140.80240.00001
Sours0.90340.81010.80420.9012→0

查看所有表

表3可知,不同方法对各伪装目标的评价结果由优至劣顺序依次为:文献[ 2]方法的评价结果a>b>c>d≫e;文献[ 6]方法的评价结果d>c>a>b≫e;文献[ 7]方法的评价结果a>d>b>c≫e。这3种方法得到的结果均与人工判读的结果存在偏差。而本文方法较其他方法更符合人工判读结果,评价结果更可靠。

5 结论

提出一种基本评价框架,通过比对原伪装图像与由图像修复技术得到的近似理想伪装图案的相似性实现伪装效果的评价,实验证明,该方法可行有效。仿真实验结果表明,本文方法的结果与人工判读结果具有较好的一致性。该方法排除了目视观察的主观性,可操作性强,具有一定的应用推广价值。同时,该方法对目标红外、雷达伪装效果评价也具有一定的借鉴意义。实验所设计的综合评价指标,未充分考虑各性能指标的权重比对评价结果的影响,各指标权重的合理分配还需进一步研究。

参考文献

[1] ForsythI. Second World War British military camouflage: designing deception[M]. London: Bloomsbury Publishing, 2017.

[2] Lin C J, Chang C C, Lee Y H. Evaluating camouflage design using eye movement data[J]. Applied Ergonomics, 2014, 45(3): 714-723.

[3] 项衍, 叶擎昊, 刘建国, 等. 基于图像边缘检测法反演大气边界层高度[J]. 中国激光, 2016, 43(7): 0704003.

    Xiang Y, Ye Q H, Liu J G, et al. Retrieve of planetary boundary layer height based on image edge detection[J]. Chinese Journal of Lasers, 2016, 43(7): 0704003.

[4] 郭彤, 华文深, 刘恂, 等. 一种基于高光谱的光学伪装效果综合评价方法[J]. 激光与光电子学进展, 2016, 53(10): 101002.

    Guo T, Hua W S, Liu X, et al. Comprehensive evaluation of optical camouflage effect based on hyperspectra[J]. Laser &Optoelectronics Progress, 2016, 53(10): 101002.

[5] 王贺, 白廷柱. 基于容限近集理论的光学伪装评价研究[J]. 光学学报, 2012, 32(12): 1210001.

    Wang H, Bai T Z. Evaluation of optical camouflage based on tolerance nearness sets theory[J]. Acta Optica Sinica, 2012, 32(12): 1210001.

[6] 贾其, 吕绪良, 吴超, 等. 人眼视觉注意机制用于伪装效果评价[J]. 应用科学学报, 2011, 29(3): 294-298.

    Jia Q, Lü X L, Wu C, et al. Evaluation of camouflage effectiveness using human visual attention mechanism[J]. Journal of Applied Sciences, 2011, 29(3): 294-298.

[7] Xue F, Yong C, Xu S, et al. Camouflage performance analysis and evaluation framework based on features fusion[J]. Multimedia Tools and Applications, 2016, 75(7): 4065-4082.

[8] Criminisi A, Pérez P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.

[9] Luo K, Li D X, Feng Y M, et al. Depth-aided inpainting for disocclusion restoration of multi-view images using depth-image-based rendering[J]. Journal of Zhejiang University-Science A, 2009, 10(12): 1738-1749.

[10] 李俊柏. 数字图像修复技术的研究[D]. 杭州: 浙江理工大学, 2015.

    Li JB. The research on digital image inpainting technology[D]. Hangzhou:Zhejiang Sci-Tec University, 2015.

[11] 吴金建. 基于人类视觉系统的图像信息感知和图像质量评价[D]. 西安: 西安电子科技大学, 2014.

    Wu JJ. Image information perception and quality assessment based on the human visual system[D]. Xi'an:Xidian University, 2014.

王鹏烨, 赵德辉, 李明锋. 基于图像修复技术的目标可见光伪装效果评价[J]. 激光与光电子学进展, 2018, 55(3): 031011. Pengye Wang, Dehui Zhao, Mingfeng Li. Optical Camouflage Effect Assessment Based on Digital Image Inpainting Technology[J]. Laser & Optoelectronics Progress, 2018, 55(3): 031011.

本文已被 4 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!