【摘 要】
:
随着深度学习的快速发展,图像生成领域取得了许多令人印象深刻的进展,这使得从标签,文本描述或者语义布局生成具有真实感的图像成为可能。本文所要研究的是从语义分割图生成与之语义对齐的具有真实感的图像,它在内容创作和编辑等方向有着广泛的应用前景。早期的工作直接将语义图作为生成器的编码器端的输入,这种网络设计对于语义信息的利用效率是次优的,空域自适应特征变换的提出缓解了这一问题。它以语义图作为条件输入,预测
【基金项目】
:
国家自然科学基金项目“多域视觉学习”(批准号码:U19A2073);
论文部分内容阅读
随着深度学习的快速发展,图像生成领域取得了许多令人印象深刻的进展,这使得从标签,文本描述或者语义布局生成具有真实感的图像成为可能。本文所要研究的是从语义分割图生成与之语义对齐的具有真实感的图像,它在内容创作和编辑等方向有着广泛的应用前景。早期的工作直接将语义图作为生成器的编码器端的输入,这种网络设计对于语义信息的利用效率是次优的,空域自适应特征变换的提出缓解了这一问题。它以语义图作为条件输入,预测仿射变换参数并空域自适应地调制变换每层的特征,充分利用语义信息,生成图像的视觉质量得到了较大提升。本文将从人体姿态迁移,复杂场景生成和风景季节迁移三个问题出发,探究空域自适应特征变换起到的关键作用,并对其改进。在人体姿态迁移任务中,首先设计了一个两阶段的框架,第一阶段生成目标姿态对应的细粒度的语义解析,第二阶段利用源姿态和目标姿态对应的语义解析,提取得到目标姿态对应的外观风格特征,再由细粒度的语义信息和外观风格特征联合引导空域自适应特征变换,生成目标图像。实验表明,基于细粒度语义信息和风格特征联合引导的空域自适应特征变换模块促使生成图像在外观一致性和姿态一致性方面具备良好的性能。在复杂场景生成任务中,仅仅利用语义信息很难生成有着丰富逼真细节的结构化实例。本文提出了一种基于形状上下文的位置描述符,通过描述实例中每个像素点与该实例轮廓点集之间的相对位置关系,刻画该像素点在实例中的位置,从而辅助生成器更好地对实例外观建模。基于语义和形状上下文联合引导的空域自适应特征变换模块的使用,使得语义信息和位置信息的利用更加充分,生成的图像的细节更加丰富和逼真。此外,语义分割损失的使用,对改善生成图像的纹理外观,促进生成图像的空间语义一致性方面起到了积极作用。在风景季节迁移任务中,本文首先设计了一个结构简单的基本框架,然后设计了一种基于语义和图像内容特征联合引导的空域自适应特征变换模块,将语义信息和内容结构特征联合,促使生成器更好地识别需要进行外观风格迁移的区域,并对其进行恰当的外观转换。生成的图像在内容一致性和风格一致性上表现良好,视觉质量优于其他几种近期的方法。
其他文献
数据不一致修复与评估一直是数据质量管理领域最重要的问题之一。随着物联网与移动网络的发展,边缘计算环境下的低数据质量问题,更提高了人们对数据不一致修复与评估的重视。但是过往的相关研究集中于单机环境或云计算环境下的解决方法。这迫使我们找到一种高效地、适合边缘计算环境的不一致修复与评估技术解决相关问题。针对边缘计算环境下的数据不一致修复与评估问题,本文研究并设计了一整套相关模型系统Ecc Dcr。主要工
视障儿童阅读的推广是全民阅读工作的重要组成部分。通过对目前视障儿童绘本资源、公共服务和法律法规3个维度的分析,探讨视障儿童绘本阅读生态重建的必要性。在此基础上,从“感官信息获取逻辑”和“绘本语义解码与建构”两个方面诠释了视障儿童多感官绘本阅读的行为。研究认为,绘本设计要综合考量视障儿童的生理特点,以其阅读感知特性推动绘本美学风格的转向,并通过“图+文+音”等多模态信息协同来构建认知的语境,丰富推理
随着移动终端的持续普及和网络技术的不断发展,短视频受到越来越多的民众的青睐,而“用短视频来学习”激发了用户对知识类短视频内容的关注度及需求。然而目前知识类短视频在平台中的组织形式比较单一,影响用户体验。而通过知识图谱的形式将其结构化组织起来已成为可能,这不仅为用户提供更好的知识获取体验,同时激发创作者创造优质知识内容,构建良性的知识分享生态。本文的主要研究内容是面向知识类短视频的多模态知识图谱的构
近年来,随着各种产业的发展,我们能够获得地带有时间戳的数据越来越多,人们也越来越重视这些数据中的时序特征带来的产业价值。对时序特征的研究能够从历史数据中挖掘出规律,进而用于对时间序列的分析和建模。对时间序列的研究中,异常检测是其中重要的一个分支。对时间序列进行异常检测能够对实时产生的数据进行监控,降低数据管理成本。同时也可以作为数据预处理的一环,提高机器学习模型所使用数据的质量。现在的工业时间序列
<正>党的二十大从战略和全局高度,对全面推进乡村振兴作出了重要部署,提出“巩固拓展脱贫攻坚成果,增强脱贫地区和脱贫群众内生发展动力”和“统筹乡村基础设施和公共服务布局,建设宜居宜业和美乡村”的重大任务,为当前和今后一个时期做好巩固拓展脱贫攻坚成果同乡村振兴有效衔接工作确立了目标、明确了任务、指明了方向。我们要深入学习贯彻党的二十大精神,深刻领悟“两个确立”的决定性意义,增强“四个意识”、坚定“四个
<正>中共中央总书记习近平在中共二十大报告中指出:“从现在起,中国共产党的中心任务就是团结带领全国各族人民全面建成社会主义现代化强国、实现第二个百年奋斗目标,以中国式现代化全面推进中华民族伟大复兴。”乡村振兴是实现中国式现代化的基础和重要内容。乡村振兴主要内容可以用六个字概括:产业、建设、治理。
写作是作者根据自身积累、思考感悟运用语言文字来表达自身思想感情的过程,是一种极具创造性的脑力劳动。智能写作是指使用人工智能技术为作者提供辅助,从而降低写作门槛,提升作者的写作效率与创作体验,在更短时间内创作更多优秀的文艺作品,最终实现生产力的提高。本文针对嵌套命名实体识别、文本重排序和数字生成这三个智能写作所需的支撑性技术进行了研究。(1)嵌套命名实体识别。嵌套命名实体往往具有丰富的文本内涵,在文
随着社交媒体平台的广泛应用,人们利用社交媒体发布针对舆情事件的相关评论,这些数据代表了民众的所思所想,能够真实快速的反映社会舆论情况,对网络舆情的认知和管控提供重要支持。近年来,自然语言处理相关技术不断进步,文本情感分析任务得到充分关注和发展,为基于社交媒体数据的舆情分析提供了强有力的技术支撑。针对各类舆情事件,利用社交媒体平台的数据,并通过自然语言处理技术进行舆情的分析与预测,具备重大的理论和现