基于图像修复技术的目标可见光伪装效果评价 下载: 1294次
1 引言
通过**侦察活动获得的图片,包含有待识别的伪装目标及其周围的背景信息,且背景区域在图像中占比较大。目标可见光伪装效果主要体现在伪装目标与背景的融合程度上,即伪装目标的各图像特征与其周围的背景图像特征越相似,说明目标的伪装效果越好[1]。
为了提升目标防可见光侦察的伪装效果,需对其进行科学评估和分析,常见的伪装效果评估是基于光学伪装图片进行人工判读[2],其结果可靠,**侦察领域。但是该项工作的可操作性差,需要消耗大量的人力、物力和时间;而且实验结果只能在侦察活动中对伪装目标进行识别,无法进一步对目标伪装效果进行量化评价,对目标伪装效果的优化指导意义不大[3-4]。
针对伪装效果人工判读方法存在的问题,有学者提出伪装效果客观评价方法,思路是:首先,分别提取伪装目标区域和背景区域的颜色、纹理以及亮度等图像特征;然后,通过相似度计算,构造距离函数;最后,判定目标与背景的相似性,从而对伪装效果做出评价。Lin等[2]利用图像质量评估技术计算伪装目标与所在背景之间的相似度来判断目标伪装效果;王贺等[5]提取图像的统计、颜色和纹理等特征,在容限空间中计算背景与目标并集集合的所有容限近似类,利用近似测量(tHD)指标评价伪装效果;贾其等[6]基于人眼视觉注意机制的原理建立了伪装效果评价模型;Xue等[7]通过融合背景相关特征的相似度信息和非背景相关特征的差异性信息,完成对数码迷彩伪装性能的评价分析。但是这类方法只是简单地划分伪装目标区域与背景区域,忽略了两者间接触部位(目标轮廓周围区域)对伪装效果评价的影响,而根据人眼视觉理论的研究,人眼在捕获所注意目标的过程中,目标的轮廓信息具有重要作用[8]。
针对上述方法的不足,本文将“伪装目标-周围背景”相似度检验,更新为“伪装目标-近似理想伪装图案-周围背景”相似度检验,提出一种基于图像修复技术的目标可见光伪装评价方法。首先,利用优化的图像修复技术填补被伪装目标覆盖的背景区域,获得与背景融合度高的近似理想伪装图案,并利用无参考图像质量Brisque算法计算理想伪装纹理近似度(即修复效果值)以消除误差;其次,利用图像结构相似度(SSIM)对待检测与理想的伪装图案进行相似度检验;最后,融合理想伪装近似值与SSIM值对伪装效果进行综合评价。
2 近似理想伪装图案
2.1 近似理想伪装图案的构造
如
利用图像修复技术进行填充,使得原本被伪装目标覆盖的
图像修复技术通过遍历目标区域的每个像素点进行修复工作,该处理方式可以在伪装效果评价中考虑目标与背景接触部位的影响,将伪装目标的外形轮廓信息作为效果评价中一类信息,可以弥补现有方法所忽略的问题。
一般的图像修复技术适合于修复斑点、线条等类的破损区域,不足之处是修复面积小,丢失信息少,不适合于侦察图片中伪装目标区域占比较大的实际应用背景。Criminisi等[8]提出的基于样本的图像修复技术在处理大面积破损区域图像修复方面效果优于其他方法。因此,考虑到近似理想伪装图案的构造以及Luo等[9]关于图像修复技术的研究,本文在该图像修复方法的基础上,具有针对性地进行适当改进。
步骤1)在获得的针对伪装目标的可见光侦察图片中,利用图像分割技术(MATLAB中的imfreehand函数),将提取目标的轮廓作为待填充区域的初始边界。
步骤2)重复以下步骤:
①判断是否还存在待填充区域,如果不存在,流程结束;否则,进入下一步骤。
②计算边界上每一个像素点块的优先级,
式中
在实际应用中,边界上某一像素点所更新的置信度值可能退化为零,此时无法根据节点的优先权修复待填充区域,这会导致程序中止[10]。若将优先级计算公式修改为
③根据步骤②的计算结果确定边界上所有像素点中优先级最大的点,基于该点在图像的背景区域中查找最佳匹配块,搜索该点的最佳匹配块
式中
(3)式能够给出图像中的结构信息,如果直接通过该结果搜索最佳匹配块,会忽略其颜色信息,而颜色信息在人眼发现目标过程中起到重大作用。故可在
式中
满足优化后的
步骤3)填补
更新受到上一次修复影响的待修复区域边界点的优先级。
步骤4)返回步骤2)的填补过程,直至图像中所有的待填补区域像素点填补完毕,即得到近似理想伪装图案。
2.2 理想伪装图案近似度计算
2.1节利用图像修复技术获得了特定背景下的近似理想伪装图案,如果直接与实际伪装方案进行对比,并对其伪装效果进行评价,就不可避免地引入了图像修复技术构造的近似理想伪装图案的误差,并在效果评价中进一步放大,进而降低结果的可靠性。故有必要对其构造的近似理想伪装图案进行近似度计算,一方面可以对修复效果进行客观评价;另一方面可以利用计算结果作为参考指标来描述修复效果图与理想伪装纹理的接近程度,并作为参数对目标伪装效果进行综合判断。
由于实际情况下无法获取伪装目标所覆盖的背景区域块图像,通过与原有图像进行比对的方法将失效。所以采用无参考图像质量评价Brisque算法[11]评价图像修复效果,其质量得分记为
该算法所给出的
该值越大,说明结果越接近理想伪装,即伪装效果越好,满分值1表示得到与背景相一致的理想伪装。
3 伪装评价方法的建立
众多的伪装效果评价研究总是简单地分割伪装目标所在区域与其周围的背景区域,再对两者各自的图像特征进行相似度计算,忽略了伪装目标区域与周围背景区域的接触部位对评价结果的影响。此外,考虑到图像本身的结构、纹理特征和颜色过渡,理想伪装图案并不要求与周围背景完全一致,而是要求其与周围背景尽可能融合,客观上表现为图像特征在伪装目标区域不存在与背景区域较大的波动,即背景区域的各项图像特征在伪装目标区域的平滑过渡,不至于出现某个特征突然“断层”,破坏整体图像的平滑性。
因此,精确的伪装效果评价方法并非比对伪装目标与其周围背景的相似度,而是先获取被伪装目标覆盖区域的近似理想伪装图案,再将其与原始伪装图像进行相似度检验。
3.1 相似度检验
为获得更接近人眼视觉系统特性的结果,利用图像的亮度、对比度和结构度表征图像的结构信息,计算原始伪装图像(记为
式中
3.2 综合评价指标
在设计综合评价指标时,首先应明确各具体指标之间的关系。具体指标之间的关系通常包含:1) 横向的并列关系,各指标相互独立地影响综合评价结果;2) 纵向的递进关系,一指标通过影响另一指标,从而间接影响最终评价结果。
本文提出的理想伪装近似度与结构相似度指标是纵向的递进关系,两者之间的关系表现为:作为理想伪装衡量标准的近似度值越接近1,与其进行对比的待评价伪装图案所得到的结构相似度值越精确,就越能反映伪装效果的优劣;反之,若理想伪装近似度较小,说明所得到的近似理想伪装图案效果差,如果再将其与待评价伪装图案进行相似度检验,就会使评价结果中引入较大误差,进而使所设计的评价方法因为误差较大而失效。
对于横向并列关系的多指标体系采用加权相加法进行科学设计,并通过权重比分配实现不同权值对伪装效果的影响程度。考虑到两个性能指标的纵向递进关系,并结合各指标的自身变化对伪装效果优劣反映的基础上,借鉴了文献[
7]提出的乘法指数形式[
由此,将两性能指标进行乘法指数融合,得到最终的伪装效果综合评价指标,具体表达式为
式中
由此,融合理想伪装纹理相似度的综合评价指标的取值范围确定为[0,1],就可以根据综合评价值判断伪装效果的好坏,如果其值越接近1,说明伪装效果越好,从数值量化角度对伪装效果进行评价。
4 模型验证与应用
利用所建立的模型编制相应软件,其流程如
预准备工作:选取4幅典型背景下不同伪装目标光学图像,用以验证该算法的普适性。如
组织50名不同专业的学员,经过针对性训练后,对5幅图像中的伪装目标进行人工判读,然后对5个目标的伪装效果进行由优至劣排序,并统计各类排序结果的占比。可以发现,排序结果为a>d>b>c≫e占总排序结果的55%,远大于其他(5!-1)种可能排序结果,再列出其他占比较大的3种结果分别为:a>d>b>c≫e,21%;d>c>a>b≫e,13%;a>b>c>d≫e,6%。因此可以将a>d>b>c≫e的排序结果作为后续评价各类伪装效果评价方法优劣的依据。
1) 理想伪装纹理获取。通过图像修复技术对目标区域进行相关信息填充,获得近似理想伪装图案,并与原始修复技术处理的效果图进行对比,结果如
综合
图 4. 构造理想伪装图案。(a)隐蔽防护门;(b)狙击手;(c)伪装车;(d)昆虫机器人;(e)未实施伪装的人
Fig. 4. Creating ideal camouflage texture. (a) Concealed protective door; (b) sniper; (c) camouflage car; (d) bug robot; (e) undisguised person
2) 理想伪装图案近似度量化。利用Brisque算法量化两种方法得到的近似理想伪装图案的修复效果和近似度,结果如
表 1. 理想伪装图案近似度
Table 1. Approximate values of ideal camouflage texture
|
由
3) 综合评价值计算。计算原始伪装图像(人工伪装)与修复效果图(近似理想伪装)的SSIM,利用所提出的综合评价指标,结合SSIM与理想伪装图案近似度对5幅图案进行目标伪装效果评价,结果如
由
表 2. 目标伪装效果综合评价值
Table 2. Evaluation values of target's camouflage effect
|
4)不同评价方法对比。为了更加客观验证本文方法的有效性,结合文献[
6]、文献[
2]和文献[
7]的评价方法对
文献[
6]方法通过统计各个伪装目标的发现时间
式中
文献[
2]方法利用目标的发现概率
文献[
7]方法给出的综合评价值
对3种评价方法的结果进行归一化处理后,将各个结果统一到[0,1]之间,且满足结果取值越接近于1,伪装效果越好的要求。此时,可以在同一标准下对比各个方法,此处不再列出各评价方法的原始结果,
表 3. 不同方法评价结果对比
Table 3. Comparison with different evaluation results
|
由
5 结论
提出一种基本评价框架,通过比对原伪装图像与由图像修复技术得到的近似理想伪装图案的相似性实现伪装效果的评价,实验证明,该方法可行有效。仿真实验结果表明,本文方法的结果与人工判读结果具有较好的一致性。该方法排除了目视观察的主观性,可操作性强,具有一定的应用推广价值。同时,该方法对目标红外、雷达伪装效果评价也具有一定的借鉴意义。实验所设计的综合评价指标,未充分考虑各性能指标的权重比对评价结果的影响,各指标权重的合理分配还需进一步研究。
[1] ForsythI. Second World War British military camouflage: designing deception[M]. London: Bloomsbury Publishing, 2017.
[3] 项衍, 叶擎昊, 刘建国, 等. 基于图像边缘检测法反演大气边界层高度[J]. 中国激光, 2016, 43(7): 0704003.
[4] 郭彤, 华文深, 刘恂, 等. 一种基于高光谱的光学伪装效果综合评价方法[J]. 激光与光电子学进展, 2016, 53(10): 101002.
Guo T, Hua W S, Liu X, et al. Comprehensive evaluation of optical camouflage effect based on hyperspectra[J]. Laser &Optoelectronics Progress, 2016, 53(10): 101002.
[5] 王贺, 白廷柱. 基于容限近集理论的光学伪装评价研究[J]. 光学学报, 2012, 32(12): 1210001.
[6] 贾其, 吕绪良, 吴超, 等. 人眼视觉注意机制用于伪装效果评价[J]. 应用科学学报, 2011, 29(3): 294-298.
Jia Q, Lü X L, Wu C, et al. Evaluation of camouflage effectiveness using human visual attention mechanism[J]. Journal of Applied Sciences, 2011, 29(3): 294-298.
[8] Criminisi A, Pérez P, Toyama K. Region filling and object removal by exemplar-based image inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9): 1200-1212.
[10] 李俊柏. 数字图像修复技术的研究[D]. 杭州: 浙江理工大学, 2015.
Li JB. The research on digital image inpainting technology[D]. Hangzhou:Zhejiang Sci-Tec University, 2015.
[11] 吴金建. 基于人类视觉系统的图像信息感知和图像质量评价[D]. 西安: 西安电子科技大学, 2014.
Wu JJ. Image information perception and quality assessment based on the human visual system[D]. Xi'an:Xidian University, 2014.
Article Outline
王鹏烨, 赵德辉, 李明锋. 基于图像修复技术的目标可见光伪装效果评价[J]. 激光与光电子学进展, 2018, 55(3): 031011. Pengye Wang, Dehui Zhao, Mingfeng Li. Optical Camouflage Effect Assessment Based on Digital Image Inpainting Technology[J]. Laser & Optoelectronics Progress, 2018, 55(3): 031011.