基于生成式模型的图像到图像翻译研究

来源 :云南大学 | 被引量 : 0次 | 上传用户:winterryliang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图像到图像翻译是计算机视觉和图像处理方向热门的研究课题,它的目标是在不同的视觉域间学习一种映射关系,将源域的数据分布变换至目标域的数据分布,同时保留源域的内容特征。图像至图像翻译包括多种有趣的计算机视觉和图像处理应用,包括图像风格化、图像超分辨率、图像语义生成、图像修复、图像编辑等。总之,图像到图像翻译是一个广泛、有趣且有影响力的研究课题,包括计算机视觉、计算机图形学和数字图像处理中的若干重要问题,值得广大学者和研究人员进行深入探究。图像到图像翻译在带给工业界和学术界广泛应用前景的同时,仍然保留许多可研究的问题点和有挑战性的突破点。比如内容结构保留问题、翻译图像的形变问题和模型通用性问题等。本文围绕着以上重要问题,展开相应的科学研究,并针对性的提出相应的解决方案。(1)针对图像到图像翻译中生成图像容易丢失源域全局内容结构的问题,本文提出了一种基于内容-风格自适应规范化(CSAN)的特征融合机制,它属于条件规范化层,其核心思想是同时使用源域的内容编码和目标域的风格编码来产生特征调制参数。定性和定量的实验结果表明,我们提出的特征融合机制不仅能够更好的保留源域的全局内容结构,而且能够取得优异的图像翻译结果。(2)针对翻译图像需要产生形变的问题,本文在设计内容-风格自适应规范化层时结合了实例规范化(IN)和组规范化(GN),并在注意力规范化(AN)的帮助下,使得模型能够灵活的控制翻译图像纹理和形状的变化量。定性和定量的实验结果表明,本文所提出的结合策略能够实现翻译图像的形变和风格迁移,并且整体翻译质量优于最先进的模型。(3)针对翻译模型的通用性问题,本文提出了一个适用于无监督和有监督的图像翻译模型,可以同时实现语义图像生成、图像风格迁移和多模态图像生成。整体的模型架构基于条件生成对抗网络。为了实现语义图像和表现图像的特征融合,提出了语义-表现空间自适应规范化(SA-SPADE)。受到无监督视觉表征学习的启发,一方面,为了约束生成图像中源域不变的内容特征,提出了语义感知的对比损失(SCL)。另一方面,为了迁移目标域特定的风格表现,提出了表现感知的对比损失(ACL)。定性和定量的实验结果表明,提出的通用模型在多种图像翻译任务中都能取得优异的翻译结果。
其他文献
社会网络是由网络中个体成员之间的交互作用形成的,被广泛应用于描述成员之间的相互行为。由于近年来社会发展迅猛,社会网络也呈现多样化发展,伴随着的便是网络信息的复杂化,也更加凸显了它的研究价值。社会影响力是在一定的网络下,个体能影响并改变其他人行为举止的一种能力。影响力最大化(Information Maximization,IM)问题旨在寻找网络中使信息成功传播最广泛的网络成员集合,以至于能够将这些
学位
烟草是我国重要的经济作物之一,云南省作为“烟草王国”,在烟草质量、产量、销售量与出口创汇等多项指标中多年连续位居全国首位,同时烟草也是云南省经济社会发展的重要支撑和财税收入的主要来源。烟支作为烟草最常见的产品,一直以来都是烟草行业发展的重点。目前烟支的高速生产线虽然能满足产量上的需求,但不可避免地给烟支质检提升了难度。在质检中,烟支外观瑕疵会直接影响香烟质量,如果次品大量流入市场,不但会降低消费者
学位
空间频繁并置(co-location)模式是一组空间特征的子集,这些特征的实例在地理空间中频繁地出现在一起。空间并置模式挖掘旨在从空间数据中提取人们尚未知道但潜在有用的信息从而更好地服务人类活动,它已经驱动了许多社会应用,如基于位置的服务、城市规划等。尽管对频繁并置模式挖掘技术已经开展了许多探索,但仍然存在一些问题:(1)空间实例的邻近关系计算完成后通常存储在内存中,这种方式收集候选模式的表实例具
学位
抚仙湖1米真空太阳望远镜(NVST)受到大气湍流的影响,观测图像通常伴随着模糊或严重退化、更多的噪声和局部细节丢失。虽然近年来深度学习被广泛用于图像重建,但它们通常仅适用于运动、抖动模糊,对于太阳图像的重建依然存在高频细节丢失、生成伪像、边缘轮廓平滑等问题。本文利用生成对抗网络(GAN)与弱监督学习(WSL)相关技术,针对上述问题进行了研究,主要工作如下:(1)提出一种基于双阶段特征金字塔网络(F
学位
脚骨脆(Casearia balansae),为大风子科(Flacourtiaceae)脚骨脆属植物。在民间,本属植物表现出抗疟、抗感染、抗炎等活性,用于治疗肠炎、胃溃疡、病毒感染、炎症等症状。脚骨脆中富含萜类成分,尤其是克罗烷二萜,为了发现更多有活性的克罗烷二萜,我们对脚骨脆的化学成分进行了深入研究。炎症,尤其是慢性炎症,涉及多种疾病的发病机制。过度的炎症介质是炎症反应的表现,对组织或机体有害,
学位
信息网络普遍存在于现实生活中,如:社交网络、经济合作网络、交通运输网络等。各种网络正改变并重塑着人们的日常生活。而影响力最大化问题作为网络分析中一个重要的研究领域,其目的是在信息网络中寻找最具影响力的种子节点集合作为初始的信息传播源,使得这些种子节点组合在一起的信息扩散范围最大。该问题的研究对于控制舆情、制定营销策略、防范疾病爆发等都具有重要的理论意义和实用价值。目前,大部分影响力最大化的研究都面
学位
图像修复起源于欧洲文艺复兴时期,随着科学技术的发展和日益增长的美好生活需要,图像修复逐渐成为人们生活娱乐和文化保护的重要方式。图像修复主要从图像的三个角度着手:结构、纹理和语义。传统的修复方法主要从破损图像的结构和纹理进行修复,会忽略图像本身的语义。现有的基于深度学习的修复方法能够获得较高质量的图像,但从结构的连续性和语义合理性两方面来看,这些方法仍然存在修复图像不能与真实图像达到高度一致的问题。
学位
随着知识图谱(Knowledge Graph,KG)相关技术的快速发展,领域KG已经成为学界和业界关注的重点。与传统的领域数据管理方法相比,领域KG作为结构化的语义知识库,能够帮助人们有效地获取知识之间的逻辑关系,从而为智能问答、搜索引擎和决策支持等领域应用提供数据支撑。因此,高效的领域KG构建,对领域知识的有效管理、直观展示等具有重要意义。由于领域KG的适用范围较小且更加注重知识的准确度和深度,
学位
社会影响是指个体的意见或行为受他人的行为所影响的现象,主要通过人与人之间的交互活动体现出来。社会影响力的研究在经济社会学与市场学范畴中有着较长的发展史,这给影响力最大化(Influence Maximization,IM)在社会网络中的传播研究奠定了一定的基础。在社会网络中,每个人都不是独立存在的,他们之间相互联系,对彼此都有着或多或少的影响作用,而他们之间的影响深浅,范围大小取决于诸多因素。IM
学位
负荷数据自身存在高维的非线性特征,同时负荷数据也会受到气象,电价等外部因素影响,特别是净负荷数据直接与光伏发电出力相关。因此,负荷数据在预测时,其特征的构建和选择直接影响到模型的精度和预测成本。本文通过数据驱动的方式建立负荷预测短期模型,主要取得以下研究成果:(1)针对负荷相关因素的高维非线性特征影响模型预测精度与训练成本问题,文中设计了一种利用相空间重构(Phase Space Reconstr
学位