论文部分内容阅读
数字图像的风格迁移是近年来深度学习领域的研究热点之一,也是机器视觉领域非常有趣的应用之一。基于卷积神经网络的风格迁移模型由于其结果图像较好的艺术效果引起了研究人员的广泛关注。图像风格迁移技术能够将风格图像的风格迁移到内容图像上,使得到的结果图像既包含内容图像主要的内容结构信息又包含风格图像的风格信息,从而在一定程度上满足人们对图像艺术性的要求。但是由于该模型的结果图像存在风格纹理不均匀、噪声增强及模型迭代时间长等问题,影响了风格迁移的最终效果。且该模型对于一幅内容图像,一次仅能迁移一幅风格图像的纹理信息,这在很大程度上降低了用户创作图像风格迁移结果图像的积极性。因此文中基于卷积神经网络,针对上述问题展开了较为深入的研究。文中主要研究内容和创新点如下:(1)介绍了图像风格迁移相关理论。首先介绍了神经网络的历史及发展,主要包括神经网络发展历程中所经历的各个阶段。其次介绍了主要神经网络模型的数学推导过程,主要包括了人工神经网络、卷积神经网络和文中所提模型中使用的VGG网络。然后介绍了总变分正则去噪模型及其求解过程。接着介绍了基于卷积神经网络的图像风格迁移模型,以传统的风格迁移模型为例,说明了经典风格迁移模型中所使用的内容信息与风格纹理的提取办法,以及该模型进行风格迁移的具体过程。最后介绍了文中所提模型实现所使用的TensorFlow深度学习框架,主要包括TensorFlow的主要概念及相关基础知识。(2)提出了相关对齐的总变分风格迁移模型。首先提出了一种基于相关对齐的总变分风格迁移新模型,其次通过分析比较CNN分解图像后不同卷积层的重构结果,提出了新的卷积层选择策略。然后通过实验确定了所提新模型各参数的设置。最后通过对比结果图像、实验时间、总损失数值及主观评价等多个方法与传统图像风格迁移方法进行比较,说明所提模型在结果图像的视觉效果和算法的运行效率方面均优于经典的风格迁移模型。(3)提出了基于Grab Cut的风格迁移模型。首先说明了传统图像风格迁移算法所存在的问题。为了有效地解决这些问题,介绍了用于图像分割的Grab Cut算法和用于优化图像色调的颜色和谐算法,进而引出了基于Grab Cut的风格迁移模型的实现方法及相关的损失函数。最后通过大量的对比实验说明了该方法的有效性,且可以初步推断出该方法具有一定的普适性。