激光与光电子学进展, 2018, 55 (6): 061012, 网络出版: 2018-09-11  

基于非线性滤波和边缘检测的纹理传输图像风格化处理 下载: 832次

Texture Transmission Image Stylized Processing Based on Non-Linear Filtering and Edge Detection
作者单位
1 凯里学院大数据工程学院, 贵州 凯里 556001
2 重庆大学光电工程学院, 重庆 400044
摘要
基于样本块纹理传输的原理,研究了源纹理图像的纹理信息、结构信息以及目标图像的结构信息对纹理传输风格化效果的影响。采用非线性滤波的相对总变差模型对源纹理图像和目标图像进行分解,消除源纹理图像的结构信息和目标图像的纹理信息;使用纹理传输算法对上述保留信息进行纹理传输;改进的算法避免了传统算法在传输源纹理图像的结构信息时对目标图像结构的覆盖。这样,目标图像的边缘结构信息与传输结果图进行叠加,增强了传输结果图的边缘信息,改善了风格化的效果。实验证明,改进后的算法比传统算法取得更好的传输风格化效果。
Abstract
Based on the principle of sample block texture transmission, the influences of the source texture image’s texture information and structural information, and the structural information of the target image on the stylistic effect of the texture transfer are studied. The source texture image and target image are decomposed with the relative total variation model of non-filtering for eliminating the structure information of the source texture image and the texture information of the target image. Texture transmission algorithm is used for the texture transmission of the above reserved information image. The improved algorithm avoids covering the target image structure when the structural information of the source texture image transmits in the traditional algorithm. In this way, the edge structure information of the target image and the transmission result image are superimposed, which enhances the edge information of the transmission result graph, and improves the stylized effect. Experimental results show that the improved algorithm can achieve better transmission stylized effect than that of the traditional algorithm.

1 引言

图形图像艺术风格渲染是将源图像的艺术风格迁移到目标图像的过程,其处理已广泛应用于动漫、电影、游戏制作、服装设计以及计算机辅助设计等领域[1],是近年来研究人员关注的热点。图形图像艺术风格处理根据源图像艺术风格的迁移方法不同,可分为基于样本图像和基于仿真两种类型[2-4]。其中,基于样本纹理传输艺术风格的迁移方法是将原纹理图像高频部分的信息通过相应的纹理传输算法传输到目标图像上,实现了目标图像的艺术风格化,相对于基于仿真的艺术风格迁移,其避免了繁琐的参数设置和建模,具有更好的灵活性和可操作性。然而,传统的基于纹理传输算法的图形图像风格处理,是将原样本图像的纹理信息通过算法直接叠加到目标图像上以实现风格化。但由于样本纹理图像和目标图像均具有各自丰富的结构和纹理信息,仅通过简单的纹理传输无法取得较满意的艺术效果,且在传输样本纹理信息时,目标图像的边缘信息、结构信息会被覆盖或丢失,无法获得满意的艺术风格渲染效果。

针对传统算法的不足,借鉴了图像分解的思想,使用相对总变差非线性滤波器对源纹理图像和目标图像进行分解。将样本纹理图像低频率部分的纹理信息和高频率部分的结构信息进行分离;经过纹理传输把样本纹理图像的纹理信息迁移到目标图像上,同时,通过边缘检测的方法提取出目标图像的边缘信息并保存,当传输完成后再把保留的目标图像边缘信息叠加到目标传输结果图像中。这样,避免了传统方法的纹理图像覆盖目标图像的结构信息和目标图像边缘信息的丢失。通过实验验证,本文方法对结构和纹理信息较复杂的图像也能取得较好的艺术效果。

2 纹理传输相关算法

基于样本图的纹理传输算法分为两类:1) Hertzmann等[5]提出的基于像素点的纹理传输算法[6];2) Efros等[7]提出的基于样本块的纹理传输算法,该算法避免了前一类算法的时间复杂度高、迭代次数多等问题,且一次传输一个纹理块,具有效率高、传输速度快及不容易传输失真等特点。Efros等[7]提出了Image quilting纹理合成算法,并在此基础上实现了Image quilting纹理传输,取得了较好的传输结果,该算法也逐渐成为基于纹理块传输算法的代表。随后,在此基础上出现了很多改进的纹理传输算法[8-11]

2.1 最小误差路径

Image quilting纹理传输算法是在其纹理合成算法基础上实现的,因此在进行纹理传输之前,必须要合成一个大小与目标图像一致的纹理图像,纹理合成质量的好坏关系到后续纹理传输的质量,在进行纹理合成时,纹理块的拼接就显得尤为重要。采用寻找最小误差路径的方法实现两纹理块的拼接。过程如下:设B1B2为两纹理块; Bov1Bov2分别为两纹理块的重叠区域;e= Bov1-Bov2为两纹理块重叠部分的误差。任意两纹理块重叠部分的最小误差为

Ei,j=ei,j,i=1ei,j+min(Ei-1,j-1,Ei-1,j,Ei-1,j+1),else,(1)

式中ei,j为两纹理块重叠区域i行、j列的误差值,Ei,j为总的误差值,当获得每行误差最小点后,通过反向跟踪就可得到两纹理块重叠区域的最小误差路径,如图1所示。

图 1. 最小误差路径对比。(a)随机放置块;(b)相邻块被重叠限制;(c)最小误差边界切割

Fig. 1. Comparison of the minimum error path. (a) Random of placement blocks; (b) constrained by overlap of neighboring blocks; (c) boundary cut of minimum error

下载图片 查看所有图片

2.2 纹理传输误差匹配公式

Image quilting纹理传输算法在纹理合成部分采用下式进行匹配块的选择,

d[N(p),N(q)]=λ1Fov(p)-Fov(q)+λ2F(p)-F(q),(2)

式中λ1Fov(p)-Fov(q)‖为两纹理块重叠部分对应像素的欧氏距离,λ2F(p)-F(q)‖为非重叠部分的欧氏距离,λ1λ2分别为控制纹理块重叠部分和非重叠部分在匹配公式中比重的控制参数,其中λ12=1,而λ1λ2的值可根据实验进行调整。在进行纹理传输时不仅要符合纹理合成中的误差匹配条件,而且还要符合纹理传输的约束度量,公式为

dtrans=α×d1+(1-α)×d2,(3)α=0.8×i-1N-1+0.1,(4)

式中d1为(2)式的计算值,d2为纹理传输约束度量, N为实验中设置的迭代次数,一般N=3;i为迭代次序。

3 基于非线性滤波的图像分解和边缘检测

3.1 图像分解

图像分解技术是通过滤波器将图像分解为保留图像结构的基本层和包含纹理信息的细节层。Li等[12]提出了非线性滤波的相对总变差模型。采用图像分解的思想,使用相对总变差模型非线性滤波器对代表图像低频率部分的纹理信息和代表高频率部分的结构信息进行分离,进而得到并保留图像的纹理信息和结构信息。相对总变差模型为

argminp(Op-Ip)2+λ·DxpLx(p)+ε+DypLy(p)+ε,(5)

式中OpIp分别为输出、输入图像p点的像素值,(Op-Ip)2为保真项;其后部分为相对总变差;λ为调整参数,可根据实验进行调整;ε为一个防止分母为零的正微小量。

Dx(p)、Dy(p)定义为

Dx(p)=qR(p)gp,q·(xOqDy(p)=qR(p)gp,q·(yOq(6)

Lx(p)、Ly(p)定义为

Lx(p)=qR(p)gp,q·(xOqLy(p)=qR(p)gp,q·(xOy,(7)

图 2. 纹理图像分解效果。(a)源纹理图像;(b)分解的结构信息;(c)分解的纹理信息

Fig. 2. Decomposition effects of the texture images. (a) Source texture image; (b) decomposed structure information; (c) decomposed texture information

下载图片 查看所有图片

式中R(p)为以像素点p为中心的矩形区域,∂x、∂y分别为在xy方向的偏微分,Dx(p)、Dy(p)为像素点pxy方向上的窗内总变差,gp,q为权重系数,其定义为

gp,qexp-(xp-xq)2+(yp-yq)222,(8)

式中∂起到控制窗口空间尺寸的作用。

使用相对总变差模型可以实现图像纹理信息和结构信息的分离。在分离过程中对源纹理图像重复执行相对总变差算法,可得到较为满意的相分离的纹理信息和结构信息,如图2所示。

3.2 边缘检测

传统纹理传输算法在进行纹理传输时会覆盖、丢失目标图像的边缘信息,使传输结果无法获得满意的艺术效果,因此如何保留目标图像的边缘信息就显得尤为重要。采用Kirsch边缘检测的方法对目标图像进行边缘信息的提取,在完成纹理传输后,将目标图像的边缘信息叠加到传输结果图中。Kirsch算子是一种边缘检测算法,采用8个3 pixel×3 pixel的模板对图像进行卷积[13-16],8个模板代表8个方向,并取最大值作为图像的边缘输出,8个模板如图3所示。

图 3. Kirsch算子的8个卷积模板

Fig. 3. Eight convolution templates of Kirsch operator

下载图片 查看所有图片

假设图像中任意一点p和其周围3 pixel×3 pixel邻域内8个像素点分布,如图4所示。

图 4. 任意p点与邻域8个像素点分布图

Fig. 4. Distribution diagram of any p point and neighborhood 8 pixel

下载图片 查看所有图片

p为求取边缘图像Ki(x,y)一个像素点,使用Kirsch算子8个卷积核处理后得到的p点的灰度值[17]

K0(x,y)=555-30-3-3-3-3×P1P0P7P2PP6P3P4P5=5×(P1+P2+P3)-3(P0+P4+P5+P6+P7)(9)

使用同样的方法可得到其他方向为Ki(x,y)(i=1,…,7),则p点处的灰度值为

Ki(x,y)=max(K0,K1,K2,K3,K4,K5,K6,K7)(10)

全部处理完8个方向的Ki(x,y)后选取合适的阈值,筛选出边缘点即完成了边缘检测并提取出图像边缘,如图5所示。

图 5. Kirsch算子边缘检测效果。(a)目标图;(b)边缘提取结果

Fig. 5. Edge detection effects of Kirsch operator. (a) Target images; (b) edge extraction results

下载图片 查看所有图片

4 本文算法流程

算法基本流程示意图如图6所示。1) 输入源纹理图像,采用相对总变差模型非线性滤波器对源纹理图像进行分解,并保存源图像的纹理信息和结构信息;2) 输入目标图像,采用相对总变差滤波器对目标图像进行分解,消除目标图像的纹理信息,并保留其结构信息;3) 选择相应的目标图像,采用Kirsch算子对目标图像进行边缘检测,提取并保存目标图像的边缘结构信息;4) 采用纹理传输算法把源纹理图像的纹理信息传输到目标图像上;5) 叠加边缘信息到传输结果图像中。

图 6. 算法流程图

Fig. 6. Flowchart of the algorithm

下载图片 查看所有图片

图 7. 传输效果图比较。(a)源纹理图;(b)目标图像;(c)文献[ 7]算法效果;(d)改进文献[ 7]算法效果;(e)文献[ 8]算法效果;(f)改进文献[ 8]算法效果

Fig. 7. Comparison of transmission effect diagram. (a) Source texture images; (b) target images; (c) effects of Ref. [7] algorithm; (d) effects of improved Ref. [7] algorithm; (e) effects of Ref. [8] algorithm; (f) effects of improved Ref. [8] algorithm

下载图片 查看所有图片

5 实验结果分析

采用非线性滤波的方法分离图像的纹理信息和结构信息,再进行纹理传输,最后叠加目标图像边缘结构信息。本文实验均在PC机Intel(R) Core i7-7500U @2.70 GHz,内存8.00 GB以上并使用Visual Studio2010平台编程实现。为了证明本文算法的有效性,设置了两种传统传输算法分别结合本文图像分解思想进行实验,与原算法的传输效果进行比较。两组实验分别为:1) 将文献[ 7]的Image quilting传输算法效果[图7(c)]与本文算法思想结合文献[ 7][图7(d)]传输算法效果进行比较;2) 将文献[ 8]的传输算法效果[图7(e)]与本文算法思想结合文献[ 8]传输算法效果[图7(f)]进行比较。

图7可知,图7(c)采用Image quilting算法实现纹理传输,该传输算法在执行传输时把整个源纹理图像的信息都传输到了目标图像上,导致源纹理图像的纹理结构信息覆盖了目标图像的部分结构信息,造成风格化目标图像在图像边缘位置的轮廓模糊不清,如图7(c)中人物的眼睛、嘴巴等部分,直接影响了风格化处理的视觉效果。图7(d)为采用非线性滤波图像分解思想后,再使用Image quilting传输算法进行传输的效果。采用非线性滤波图像分解的思想,在进行纹理传输之前,把源纹理图像的纹理信息和结构信息进行分离,同时去掉目标图像的纹理信息而保留其结构信息。然后再对源纹理图像的纹理信息和目标图像的结构信息进行纹理传输,同时在传输结果图中叠加目标图像的边缘信息,避免了目标图像的边缘结构信息因被覆盖而导致的边缘轮廓模糊。图7(d)中的风格化处理图像比图7(c)在图像的边缘位置的明细要清晰,更符合人们的视觉效果。图7(e)为基于亮度重映射和梯度结构信息的纹理合成,并在此合成算法上实现了纹理传输。该算法在Image quilting算法基础上进行了改进,提高了效率并改善了传输效果,如图7(c)、(e)所示。图7(f)为采用了本文算法图像分解的思想并结合文献[ 8]传输算法的效果图,其传输风格化处理效果好于原算法,且边缘轮廓更清晰,取得了更为理想的传输效果。图7(d)、(f)为相关传统纹理传输算法使用本文非线性滤波图像分解和边缘提取叠加思想后的纹理传输结果,该结果与文献[ 7]、[8]的原传输算法相比,边缘信息更清晰,比传统传输算法取得更好的风格化效果。

表1为本文算法传输时间与相应传统算法传输时间的比较。为了统计的准确度,表1中的每一个尺寸纹理块对应的传输时间均是10次传输时间的平均值。

表 1. 传输时间比较

Table 1. Comparison of transmission time

Texture blocksize /(pixel×pixel)Transmission time /min
Ref. [7]algorithmImproved Ref. [7]algorithmRef. [8]algorithmImproved Ref. [8]algorithm
27×275.496.074.434.53
44×445.035.164.014.25
54×544.584.323.864.15
60×604.054.263.153.34

查看所有表

通过表1的统计可以看出,改进后的算法时间分别比文献[ 7]的Image quilting纹理传输算法及文献[ 8]中的纹理传输算法传输时间稍多。因为本文算法在传输之前先要进行源纹理图像、目标图像的信息分离以及目标图像的边缘信息提取,耗费一定的时间。如果不计入图像信息分离和边缘提取的时间,本文算法时间与原算法相当。

6 结论

基于样本块的纹理传输原理,研究了源纹理图像的纹理信息、结构信息以及目标图像的结构信息和边缘结构信息对纹理传输风格效果的影响。实验结果表明:1) 源纹理图像的纹理结构信息在传输时会覆盖目标图像的部分结构信息,目标图像的纹理信息也会对传输结果造成影响,导致纹理传输风格化效果不理想。2) 对目标图像的边缘进行提取并叠加到传输结果图中,能增强传输结果图的边缘信息,达到改善纹理传输风格化的效果。3) 采用非线性滤波的相对总变差模型对源纹理图像低频率部分的纹理信息和高频率部分的结构信息进行分离,然后再进行纹理传输能取得较传统算法更好的风格化效果。同时,把目标图像的边缘结构信息与传输结果图进行叠加能增强传输结果图的边缘信息,有效改善了传输结果图的边缘轮廓模糊的情况。

参考文献

[1] 王东, 周世生, 桑贤生. 基于纹理传输的烙画风格图像仿真[J]. 系统仿真学报, 2010, 22(12): 2929-2933.

    Wang D, Zhou S H, Sang X S. Simulation for pyrography style painting based on texture transfer[J]. Journal of System Simulation, 2010, 22(12): 2929-2933.

[2] 谭永前, 曾凡菊, 岳莉, 等. 一种改进的纹理图像合成算法[J]. 激光与光电子学进展, 2016, 53(12): 121001.

    Tan Y Q, Zeng F J, Yue L, et al. An improved texture image synthesis algorithm[J]. Laser & Optoelectronics Progress, 2016, 53(12): 121001.

[3] Farbman Z, Fattal R, Lischinski D, et al. Edge-preserving decompositions for multi-scale tone and detail manipulation[J]. ACM Transactions on Graphics, 2008, 27(3): 67.

[4] Subr K, Soler C, Durand F. Edge-preserving multiscale image decomposition based on local extrema[J]. ACM Transactions on Graphics, 2009, 28(5): 147.

[5] HertzmannA, Jacobs CE, OliverN, et al. Image analogies[C]∥Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques, 2001: 327- 340.

[6] AshikhminM. Synthesizing natural textures[C]∥Proceedings of the 2001 Symposium on Interactive 3D Graphics, 2001: 217- 226.

[7] Efros AA, Freeman WT. Image quilting for texture synthesis and transfer[C]∥Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques, 2001: 341- 346.

[8] 谭永前, 曾凡菊. 基于亮度重映射和梯度结构信息的纹理传输算法[J]. 激光与光电子学进展, 2018, 55(3): 031001.

    Tan Y Q, Zeng F J. Texture transfer algorithm based on brightness remapping and gradient structure information[J]. Laser & Optoelectronics Progress, 2018, 55(3): 031001.

[9] Kwatra V, Schödl A, Essa I, et al. Graphcut textures: image and video synthesis using graph cuts[J]. ACM Transactions on Graphics, 2003, 22(3): 277-286.

[10] 薛峰, 成诚, 江巨浪. 基于Wang Tile的改进纹理合成算法[J]. 计算机应用, 2010, 30(8): 2098-2110.

    Xue F, Cheng C, Jiang J L. Wang tile-based improved texture synthesis[J]. Journal of Computer Applications, 2010, 30(8): 2098-2110.

[11] 王继东, 庞明勇, 赵瑞斌. 旋转的Wang Tiles纹理合成算法[J]. 中国图象图形学报, 2013, 18(1): 49-54.

    Wang J D, Pang M Y, Zhao R B. Texture synthesis using rotational Wang Tiles[J]. Journal of Image and Graphics, 2013, 18(1): 49-54.

[12] Xu L, Yan Q, Xia Y, et al. Structure extraction from texture via relative total variation[J]. ACM Transactions on Graphics, 2012, 31(6): 139.

[13] Lukac M, Fiser J, Bazin J C, et al. Painting by feature: texture boundaries for example-based image creation[J]. ACM Transactions on Graphics, 2013, 32(4): 116.

[14] Risser E, Han C, Dahyot R, et al. Synthesizing structured image hybrids[J]. ACM Transactions on Graphics, 2010, 29(4): 85.

[15] WangY, Liu HZ, Wu ZH. Edge-preserving smoothing for image decomposition via a hybrid approach[C]. SPIE, 2013, 9069: 90691N.

[16] 李文羽, 程隆棣. 基于机器视觉和图像处理的织物疵点检测研究新进展[J]. 纺织学报, 2014, 35(3): 158-164.

    Li W Y, Cheng L D. New progress of fabric defect detection based on computer vision and image processing[J]. Journal of Textile Research, 2014, 35(3): 158-164.

[17] Lee HS. A new image super resolution by texture transfer[C]∥Proceedings of IEEE International Conference on Image Processing, 2014: 3915- 3918.

谭永前, 曾凡菊, 吴位巍, 张鸿筠. 基于非线性滤波和边缘检测的纹理传输图像风格化处理[J]. 激光与光电子学进展, 2018, 55(6): 061012. Yongqian Tan, Fanju Zeng, Weiwei Wu, Hongyun Zhang. Texture Transmission Image Stylized Processing Based on Non-Linear Filtering and Edge Detection[J]. Laser & Optoelectronics Progress, 2018, 55(6): 061012.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!