基于GAN的一类动漫场景的异质生成算法设计

来源 :福州大学 | 被引量 : 0次 | 上传用户:john20002000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像异质生成是计算机图像图形学领域具有挑战性的课题之一。本文研究场景线稿到一类动漫效果的异质生成问题,即用户输入场景线稿,算法生成着色合理、内容一致的动漫图像。再进行应用模式拓展,实现多类型场景图像经由线稿提取到动漫效果的转换,为后续在幼儿教育、插画制作等领域的应用提供更多可能性。本文主要工作如下:(1)提出一种基于GAN的场景线稿到动漫效果自动上色(Anime Effect Automatic Colorization,AEAC)的图像异质生成算法。算法改进和增强了U-Net生成器结构,设计了双层信息抽取的生成器网络(DIEU-Net)。DIEU-Net设计了用于抽取场景线稿浅层显著信息的双卷积子模块(IESS)和双层IESS的残差集成模块,增强网络在与线稿关联的颜色、位置等重要特征的全域学习能力,缓和网络加深带来的梯度消失等网络退化问题;同时采用“卷积+上采样”操作替换U-Net生成器中原有的反卷积操作,抑制生成结果中棋盘效应的发生。实验结果表明,与其他算法相比,AEAC算法上色效果更合理、自然。(2)提出了一种面向多类型图像线稿提取的、增强稠密感知的边缘检测算法Edexi Ned。考虑到上述上色网络以场景线稿输入作为交互方式,线稿需用线条刻画语义对象的轮廓、纹路特征,以往的边缘检测算法对纹路特征的刻画不适用于场景线稿自动上色问题。Edexi Ned引入了混合空洞卷积,通过设置不同的扩张率来利用多尺度信息,并在上采样网络引入了多层的残差连接,增强了全域网络的细粒度学习能力。算法能够较好地提取输入图像的线条特征,输出线条层次丰富的线稿图,为本文上色网络的应用模式拓展提供了技术基础。(3)拓展了本文动漫上色算法的应用模式,可实现多类型场景图像经由线稿提取到动漫效果的异质生成过程。本文将Edexi Ned边缘检测算法作为线稿的提取方法,提取多类型场景图像的线稿图输入至上色算法生成动漫效果。实验结果表明,本文的应用模式有较好的生成效果与灵活性,可实现多画种(中国山水画、风景素描、油画)、摄影作品到动漫效果的异质生成过程。随着人工智能慢慢地融入生活,动漫上色的异质生成算法可以被应用于绘画、插图、幼儿教育等方面,具有一定的应用前景和应用价值。
其他文献
情感分析是指挖掘和分析评论文本中情感信息的过程。方面级情感分析是情感分析的子任务,旨在预测评论目标的具体方面所对应的情感极性。本文主要针对现有的方面级情感分析模型存在的方面信息丢失、无法利用句法依存关系等问题开展研究,主要研究内容如下:记忆网络虽然能够有效地长期存储文本中的信息,但是无法充分利用评论文本中的远距离语义依赖关系,导致语义信息丢失,进而影响情感极性的预测。同时,在注意力权重的计算过程中
学位
图像美学质量评价是一个富有意义且颇具挑战的任务,近年来越来越多的工作将深度卷积网络引入到美学评价任务中,探索图像美学的影响因素,并获得了不错的评价性能。但是,大多数工作都忽略了图像风格和美学评论对图像美学评价的影响。因此,本文先提出一个基于风格特征学习的多领域图像美学质量评价方法,学习包含图像风格在内的多个专业的领域知识作为图像的美学语义特征。然后,研究多模态的学习机制,将学习视觉特征的单模态深度
学位
在当今信息化时代中,各种各样的复杂系统,如电力系统、交通运输系统和蛋白质交互系统等,在人们的生活中扮演着不可或缺的角色。为了便于研究复杂系统的性质,人们通常将其看成是由一个个子系统连接而成,然后将子系统抽象为一个节点,子系统间的连接抽象为一条边,复杂系统则被简化为复杂网络。复杂网络的一大重要特性在于节点的分布不是随机的,而是呈现出一定的聚集性,人们将一群连接紧密的节点称为社区结构。社区发现的目的在
学位
近年来城市轨道交通在交通运输体系中扮演着越来越重要的角色,越来越多的人们选择城市轨道交通作为出行的主要方式,在给人们的出行带来便利的同时,提高服务质量成为轨道交通行业的中心问题,而优化地铁时刻表是提高轨道交通服务质量的重要手段。为此,我们必须结合城市客流需求与地铁运输能力等实际情况,进行地铁时刻表优化,满足人们的出行需求,缓解城市交通压力。本文以福州地铁为研究对象,完成了以下工作内容:第一,本文研
学位
随着社交媒体的发展和移动设备的普及,在社交媒体上发布谣言和传播谣言变得越来越容易。谣言泛滥可能会引起公众恐慌和对个人的负面影响,所以谣言的自动检测十分必要。传统的检测方法主要基于特征工程,采用人工选择的用户特征、文本内容以及传播模式来训练监督分类器。但这些方法耗时耗力,而且人工选择的特征通常缺乏从谣言的传播和散布中提取的深层语义信息。而深度学习方法可以从传播路径或网络中挖掘更高级别的表征。但它们也
学位
图像分割是数字图像处理的关键技术之一,随着生活中各个研究领域对数字图像处理技术需求地不断增加,图像分割问题成为一个越来越重要的研究方向。多阈值分割是图像分割中的一种重要方法,在近些年取得了较多的成果,并广泛地应用在遥感图像、医学图像的识别中。在图像的多阈值分割中,选取合适的阈值尤为关键,但是当传统的单阈值图像分割扩展到多阈值图像分割用遍历法计算时复杂度高,效率较低。为了更加有效地对多阈值进行选取,
学位
立体视频因其具有深度信息使得视频里景观的呈现不再局限于屏幕。研究表明长时间观看低质量的立体视频可能导致身体不适,因此,如何评价立体影像的视觉舒适度质量成为一个重要的研究课题。目前的立体视频视觉舒适度评价方法虽然取得了一些进展,但这些工作普遍没有考虑儿童视觉系统的特殊性。儿童的双目间距比成人窄,且双目融合机制还未同成年人般发育成熟,从而导致成像感知与成年人存在差异,因此成年人可以舒适观看的专业立体视
学位
社交网络群体影响最大化问题近年来在社交网络中得到许多研究关注,特别是在口碑营销、传染病控制、舆论控制等个体决策会受到群体影响的领域。该问题的目标旨在社交网络中选择k个种子节点,通过信息传播模型扩散影响,使得最后被激活的群体数量最多,其中一个群体被激活的前提是该群体中至少给定比例的成员被成功影响。基于对已有高效算法的改进,本文提出了一种应用于有向图的Improved Reverse Influenc
学位
人脸面部活动单元检测与分析是计算机视觉与人工智能研究领域的一个重要问题。人类的面部作为人类身体部位上传达信息最为丰富的区域,一直以来都是研究的重点,通过对人脸各个活动单元传达信息的分析挖掘,得出的有效信息在智能安防、智能教育、智能医疗、人机交互等领域都有着极高应用价值。人脸面部活动单元的检测与分析存在着一些共性关键问题,例如:不同光照和姿态变化造成的宏表情识别不佳、微表情的细微特征难以提取、人脸活
学位
知识图谱作为人类智慧的新兴产物,为诸多智能应用提供易被计算机理解的结构化数据。尽管目前的知识图谱已经十分成熟,但仍远没有达到完备的程度。知识表示学习技术,旨在学习实体和关系的低维嵌入表示,来提高链路预测任务的精度,以达到补全知识图的目的。如今,在网络大数据的环境下,知识逐渐呈现出半结构化和非结构化数据占主导的势头,知识表示学习在新的环境下被赋予了新的使命,即融合多元信息的能力。多元异构信息在帮助改
学位