基于CycleGAN的像素画风格迁移研究与实现

来源 :武汉理工大学 | 被引量 : 0次 | 上传用户:w__hailin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人们审美愈加多元化,像素画凭借着其独特的艺术价值和艺术形态为越来越多的人们所喜爱,在游戏、广告、手机应用等多个领域,都可以见到它的身影。在计算机视觉领域,风格迁移一直是一个热门话题,现有的关于不同风格图像之间的彼此转换的研究有很多。但是像素图像风格迁移仍然存在难点和挑战:像素图像通常具有清晰的轮廓、明亮的色彩和独特的锯齿状边缘,而现有的迁移算法对图像轮廓等细节保留得不充分,生成的像素图像也不具有明亮的色彩特征和锯齿状的线条特征。因此,像素画生成算法仍然需要改善和创新。本文基于Cycle GAN(Cycle-Consistent Adversarial Networks)的网络架构来研究像素图像的风格迁移,主要的工作内容如下:(1)基于Cycle GAN的像素画风格迁移方法研究:提出了一种基于Cycle GAN的像素图像风格迁移网络PIGAN(Pixel-image migration Generative Adversarial Networks,PIGAN)。该网络辅助了图像迁移过程中,图像边缘、轮廓和图像中的线性结构等细节信息的充分保留。本文在PIGAN的生成器中引入了多尺度的skip connection,使用改进的嵌套式的U-Net(Nested U-Net)结构替代了原有的深度卷积残差网络。该网络能辅助图像上采样过程,实现输入与输出之间的低级特征复用,帮助生成像素图像中的轮廓细节。另外,本文还重新设计了网络所需的损失函数,在对抗损失和循环一致损失的基础上引入了特征损失和拓扑感知损失。其中拓扑感知损失是从预训练的VGG16(Visual Geometry Group Network)网络的特定层中提取的特征图并计算这些特征图的欧式距离得到的。最后通过实验证明了本文设计的联合损失函数可以辅助在风格迁移过程中图像的线性结构的保留以及PIGAN在像素图像生成中的有效性。(2)基于双判别器的像素艺术风格增强研究:针对艺术风格增强的问题提出了一种包含双判别器的网络模型DPIGAN(PIGAN with Double discriminator),实现了像素图像颜色特征和纹理特征的增强。本文从像素图像的纹理特征和颜色特征两个方面出发,使用高斯模糊算子对数据集进行处理,并生成艺术风格不明显的低质量的像素图像集用于判别器的训练。本文利用纹理判别器和颜色判别器分工合作,分别对纹理特征和颜色特征进行区分,在对抗博弈的过程中激励生成器生成更清晰的锯齿状轮廓以及充分保留原始图像中的色彩信息。并在PIGAN中损失函数的基础上针对两种判别器分别提出对应的纹理对抗损失和颜色对抗损失。实验结果表明该方法能够生成具有像素艺术风格的高质量像素图像。(3)像素风格迁移系统的设计与实现:设计并实现了一个基于DPIGAN的像素图像风格迁移系统,用户可以使用该系统进行非像素图像到像素图像之间的风格转换,可以输入任意内容的图像将其转化为独特的像素图像。
其他文献
目前,由于人体行为识别算法的迅速发展,其在实际生活中的各个方面都具有良好的应用前景。行为识别算法可分为传统算法和基于深度学习的算法。传统算法依靠人工提取特征,发展受到限制。基于深度学习的识别算法可以自动学习特征,算法效率和准确率得到提高。但仍存在没有综合使用短期时空特征和长期时序特征,忽略视频中空间特征和时间特征提取尺度和权重等方面的问题。针对此类问题,本文对人体行为识别算法深入研究,主要工作如下
学位
随着科技的进步,自动驾驶等场景得到了落地和快速发展。自动驾驶使用到的主要技术就是语义分割。在自动驾驶中对于分割的速度和精度都有着较高要求,然而目前很多高精度的模型推断速度慢,且由于参数和计算量较多并不适合部署在车载计算机等现实场景设备上。另一方面,参数量少的网络虽然适合部署且推断速度快,但是精度又会有所损失。语义分割如何在速度和精度上达到一个较好的权衡,这便是实时语义分割的重点研究问题。本文将对当
学位
车用电子水泵不仅在传统汽车发动机的冷却系统中占有重要地位,而且在新能源电池、电机冷却中扮演不可或缺的角色,其运行状态是否正常直接影响着汽车发动机及车辆其他系统的工作性能,因此对车用电子水泵故障诊断进行研究具有十分重要的价值与意义。本文主要根据电子水泵的电流特性以及故障诊断的功能和需求分析,设计并搭建了车用电子水泵故障诊断系统,实现车用电子水泵的故障诊断。首先,对车用电子水泵故障诊断的研究意义和国内
学位
上肢参与了日常活动中的大部分动作,其协调功能的损伤必将严重影响患者的运动能力与生活质量。脑卒中患者通常存在不同程度的上肢协调功能异常问题,因此,上肢协调训练是脑卒中患者术后康复过程中极其重要的一部分。康复机器人可以为患者提供长期且定量的康复治疗,有助于帮助患者更快地恢复上肢运动功能。但是,气动肌肉驱动的模块化外骨骼康复机器人具有变化的工作环境,消除机器人运动学与动力学差异,实现其高精度位置控制变得
学位
随着信息时代高速发展,信息数据急剧增长,图像作为信息数据传递的载体,如何有效分类海量的图片是一个十分重要的研究课题。细粒度图像分类作为图像分类的子问题,也是计算机图像处理的研究热点之一。如果能实现低成本的细粒度图像分类技术,那么在生态环境监测,交通事故追踪,航线系统编排等领域都能广泛应用。由于细粒度图像类别之间有极强的相似性,但类内之间又会由于姿态或环境的影响表现巨大的特征差异,传统的图像分类方法
学位
随着互联网快速发展,人们面临着信息过载的问题,过量的信息不仅会增加人们获取有效知识的难度,还可能会误导用户。为了解决这个问题,出现了个性化推荐,推荐系统能够给用户推荐合适的内容来满足用户的需求,比如在视频类、音乐类、电商类等网站给用户推荐视频、歌曲和商品。然而大多数基于神经网络的推荐模型聚焦于提高模型的整体性能,而忽略了模型的鲁棒性,特别是如果反馈数据被用户有意或无意的行为破坏,模型的准确度可能大
学位
近年来随着自动化水平的不断提高,各类机器人已经开始广泛应用到工业、医疗、生活等多个领域,人机交互的应用场景也越来越广泛。由于利用穿戴式传感器实现实时的人机交互存在传感设备价格昂贵、操作人员需要事先培训等局限,因此使用3D相机作为传感器,利用视觉算法来实现手臂与机械臂的实时人机交互有着更加广泛的应用场景以及更大的发展潜力。现阶段的动态手势识别多是通过光流法来提取手势特征,需要巨大的计算量,存在耗时久
学位
随着近些年深度学习和计算机视觉技术的兴起,人脸图像的缺损或遮挡修复方法得到进一步发展,其在老(旧)人脸照片修复、社交娱乐、刑侦人脸图像修复等领域有广泛的应用前景。但是目前许多修复方法仍然存在着问题,例如对缺失区域的结构信息预测不精确导致修复结果存在模糊不清晰的现象;修复后的图像的纹理结构过于简单使得修复结果缺乏图像纹理一致性等。本文在第2章和第3章中分别针对人脸图像缺损修复后产生的模糊现象和缺乏纹
学位
静脉穿刺是护理人员使用最普遍的技能,也是临床医疗进行输液、采血和输血的必要方法。而存在一类人群静脉很难被识别定位,这严重增加了穿刺的难度。这些群体往往需要遭受多次扎针的痛苦,不仅会延迟治疗时间,影响治疗效果,还可能会引起患者的不满,甚至导致医患纠纷。随着医疗图像处理领域的发展,静脉红外图像处理后可在体表显像,这能够有效地辅助护理人员做静脉穿刺。但是采集的静脉红外图像质量较低、对比度差,而且处理后的
学位
踝关节是人体最复杂的骨骼结构之一,在维持步行平衡方面起着重要作用。脑卒中(中风)会对患者造成多种神经功能损伤,是导致踝关节运动功能受损的一个主要因素。临床康复治疗强调脑卒中患者应在康复中尽早进行步态训练,可以运用健康侧肢体运动为患侧康复提供临床参考。然而,脑卒中患者健患侧下肢不对称性强、肌肉力差异性大,且目前的踝关节康复训练模式较为单一,难以实现有效辅助康复。所以针对患者个体间不同生理特征,基于脚
学位