基于非线性滤波和边缘检测的纹理传输图像风格化处理 下载: 832次
1 引言
图形图像艺术风格渲染是将源图像的艺术风格迁移到目标图像的过程,其处理已广泛应用于动漫、电影、游戏制作、服装设计以及计算机辅助设计等领域[1],是近年来研究人员关注的热点。图形图像艺术风格处理根据源图像艺术风格的迁移方法不同,可分为基于样本图像和基于仿真两种类型[2-4]。其中,基于样本纹理传输艺术风格的迁移方法是将原纹理图像高频部分的信息通过相应的纹理传输算法传输到目标图像上,实现了目标图像的艺术风格化,相对于基于仿真的艺术风格迁移,其避免了繁琐的参数设置和建模,具有更好的灵活性和可操作性。然而,传统的基于纹理传输算法的图形图像风格处理,是将原样本图像的纹理信息通过算法直接叠加到目标图像上以实现风格化。但由于样本纹理图像和目标图像均具有各自丰富的结构和纹理信息,仅通过简单的纹理传输无法取得较满意的艺术效果,且在传输样本纹理信息时,目标图像的边缘信息、结构信息会被覆盖或丢失,无法获得满意的艺术风格渲染效果。
针对传统算法的不足,借鉴了图像分解的思想,使用相对总变差非线性滤波器对源纹理图像和目标图像进行分解。将样本纹理图像低频率部分的纹理信息和高频率部分的结构信息进行分离;经过纹理传输把样本纹理图像的纹理信息迁移到目标图像上,同时,通过边缘检测的方法提取出目标图像的边缘信息并保存,当传输完成后再把保留的目标图像边缘信息叠加到目标传输结果图像中。这样,避免了传统方法的纹理图像覆盖目标图像的结构信息和目标图像边缘信息的丢失。通过实验验证,本文方法对结构和纹理信息较复杂的图像也能取得较好的艺术效果。
2 纹理传输相关算法
基于样本图的纹理传输算法分为两类:1) Hertzmann等[5]提出的基于像素点的纹理传输算法[6];2) Efros等[7]提出的基于样本块的纹理传输算法,该算法避免了前一类算法的时间复杂度高、迭代次数多等问题,且一次传输一个纹理块,具有效率高、传输速度快及不容易传输失真等特点。Efros等[7]提出了Image quilting纹理合成算法,并在此基础上实现了Image quilting纹理传输,取得了较好的传输结果,该算法也逐渐成为基于纹理块传输算法的代表。随后,在此基础上出现了很多改进的纹理传输算法[8-11]。
2.1 最小误差路径
Image quilting纹理传输算法是在其纹理合成算法基础上实现的,因此在进行纹理传输之前,必须要合成一个大小与目标图像一致的纹理图像,纹理合成质量的好坏关系到后续纹理传输的质量,在进行纹理合成时,纹理块的拼接就显得尤为重要。采用寻找最小误差路径的方法实现两纹理块的拼接。过程如下:设
式中
图 1. 最小误差路径对比。(a)随机放置块;(b)相邻块被重叠限制;(c)最小误差边界切割
Fig. 1. Comparison of the minimum error path. (a) Random of placement blocks; (b) constrained by overlap of neighboring blocks; (c) boundary cut of minimum error
2.2 纹理传输误差匹配公式
Image quilting纹理传输算法在纹理合成部分采用下式进行匹配块的选择,
式中
式中
3 基于非线性滤波的图像分解和边缘检测
3.1 图像分解
图像分解技术是通过滤波器将图像分解为保留图像结构的基本层和包含纹理信息的细节层。Li等[12]提出了非线性滤波的相对总变差模型。采用图像分解的思想,使用相对总变差模型非线性滤波器对代表图像低频率部分的纹理信息和代表高频率部分的结构信息进行分离,进而得到并保留图像的纹理信息和结构信息。相对总变差模型为
式中
图 2. 纹理图像分解效果。(a)源纹理图像;(b)分解的结构信息;(c)分解的纹理信息
Fig. 2. Decomposition effects of the texture images. (a) Source texture image; (b) decomposed structure information; (c) decomposed texture information
式中
式中∂起到控制窗口空间尺寸的作用。
使用相对总变差模型可以实现图像纹理信息和结构信息的分离。在分离过程中对源纹理图像重复执行相对总变差算法,可得到较为满意的相分离的纹理信息和结构信息,如
3.2 边缘检测
传统纹理传输算法在进行纹理传输时会覆盖、丢失目标图像的边缘信息,使传输结果无法获得满意的艺术效果,因此如何保留目标图像的边缘信息就显得尤为重要。采用Kirsch边缘检测的方法对目标图像进行边缘信息的提取,在完成纹理传输后,将目标图像的边缘信息叠加到传输结果图中。Kirsch算子是一种边缘检测算法,采用8个3 pixel×3 pixel的模板对图像进行卷积[13-16],8个模板代
假设图像中任意一点
图 4. 任意p点与邻域8个像素点分布图
Fig. 4. Distribution diagram of any p point and neighborhood 8 pixel
设
使用同样的方法可得到其他方向为
全部处理完8个方向的
图 5. Kirsch算子边缘检测效果。(a)目标图;(b)边缘提取结果
Fig. 5. Edge detection effects of Kirsch operator. (a) Target images; (b) edge extraction results
4 本文算法流程
算法基本流程示意图如
图 7. 传输效果图比较。(a)源纹理图;(b)目标图像;(c)文献[ 7]算法效果;(d)改进文献[ 7]算法效果;(e)文献[ 8]算法效果;(f)改进文献[ 8]算法效果
Fig. 7. Comparison of transmission effect diagram. (a) Source texture images; (b) target images; (c) effects of Ref. [7] algorithm; (d) effects of improved Ref. [7] algorithm; (e) effects of Ref. [8] algorithm; (f) effects of improved Ref. [8] algorithm
5 实验结果分析
采用非线性滤波的方法分离图像的纹理信息和结构信息,再进行纹理传输,最后叠加目标图像边缘结构信息。本文实验均在PC机Intel(R) Core i7-7500U @2.70 GHz,内存8.00 GB以上并使用Visual Studio2010平台编程实现。为了证明本文算法的有效性,设置了两种传统传输算法分别结合本文图像分解思想进行实验,与原算法的传输效果进行比较。两组实验分别为:1) 将文献[
7]的Image quilting传输算法效果[
由
表 1. 传输时间比较
Table 1. Comparison of transmission time
|
通过
6 结论
基于样本块的纹理传输原理,研究了源纹理图像的纹理信息、结构信息以及目标图像的结构信息和边缘结构信息对纹理传输风格效果的影响。实验结果表明:1) 源纹理图像的纹理结构信息在传输时会覆盖目标图像的部分结构信息,目标图像的纹理信息也会对传输结果造成影响,导致纹理传输风格化效果不理想。2) 对目标图像的边缘进行提取并叠加到传输结果图中,能增强传输结果图的边缘信息,达到改善纹理传输风格化的效果。3) 采用非线性滤波的相对总变差模型对源纹理图像低频率部分的纹理信息和高频率部分的结构信息进行分离,然后再进行纹理传输能取得较传统算法更好的风格化效果。同时,把目标图像的边缘结构信息与传输结果图进行叠加能增强传输结果图的边缘信息,有效改善了传输结果图的边缘轮廓模糊的情况。
[1] 王东, 周世生, 桑贤生. 基于纹理传输的烙画风格图像仿真[J]. 系统仿真学报, 2010, 22(12): 2929-2933.
Wang D, Zhou S H, Sang X S. Simulation for pyrography style painting based on texture transfer[J]. Journal of System Simulation, 2010, 22(12): 2929-2933.
[2] 谭永前, 曾凡菊, 岳莉, 等. 一种改进的纹理图像合成算法[J]. 激光与光电子学进展, 2016, 53(12): 121001.
[5] HertzmannA, Jacobs CE, OliverN, et al. Image analogies[C]∥Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques, 2001: 327- 340.
[6] AshikhminM. Synthesizing natural textures[C]∥Proceedings of the 2001 Symposium on Interactive 3D Graphics, 2001: 217- 226.
[7] Efros AA, Freeman WT. Image quilting for texture synthesis and transfer[C]∥Proceedings of the 28th Annual Conference on Computer Graphics and Interactive Techniques, 2001: 341- 346.
[8] 谭永前, 曾凡菊. 基于亮度重映射和梯度结构信息的纹理传输算法[J]. 激光与光电子学进展, 2018, 55(3): 031001.
[9] Kwatra V, Schödl A, Essa I, et al. Graphcut textures: image and video synthesis using graph cuts[J]. ACM Transactions on Graphics, 2003, 22(3): 277-286.
[10] 薛峰, 成诚, 江巨浪. 基于Wang Tile的改进纹理合成算法[J]. 计算机应用, 2010, 30(8): 2098-2110.
Xue F, Cheng C, Jiang J L. Wang tile-based improved texture synthesis[J]. Journal of Computer Applications, 2010, 30(8): 2098-2110.
[11] 王继东, 庞明勇, 赵瑞斌. 旋转的Wang Tiles纹理合成算法[J]. 中国图象图形学报, 2013, 18(1): 49-54.
Wang J D, Pang M Y, Zhao R B. Texture synthesis using rotational Wang Tiles[J]. Journal of Image and Graphics, 2013, 18(1): 49-54.
[14] Risser E, Han C, Dahyot R, et al. Synthesizing structured image hybrids[J]. ACM Transactions on Graphics, 2010, 29(4): 85.
[15] WangY, Liu HZ, Wu ZH. Edge-preserving smoothing for image decomposition via a hybrid approach[C]. SPIE, 2013, 9069: 90691N.
[16] 李文羽, 程隆棣. 基于机器视觉和图像处理的织物疵点检测研究新进展[J]. 纺织学报, 2014, 35(3): 158-164.
Li W Y, Cheng L D. New progress of fabric defect detection based on computer vision and image processing[J]. Journal of Textile Research, 2014, 35(3): 158-164.
[17] Lee HS. A new image super resolution by texture transfer[C]∥Proceedings of IEEE International Conference on Image Processing, 2014: 3915- 3918.
Article Outline
谭永前, 曾凡菊, 吴位巍, 张鸿筠. 基于非线性滤波和边缘检测的纹理传输图像风格化处理[J]. 激光与光电子学进展, 2018, 55(6): 061012. Yongqian Tan, Fanju Zeng, Weiwei Wu, Hongyun Zhang. Texture Transmission Image Stylized Processing Based on Non-Linear Filtering and Edge Detection[J]. Laser & Optoelectronics Progress, 2018, 55(6): 061012.