【摘 要】
:
随着移动互联网的发展,视觉内容相关的消费需求与日俱增,促使视觉内容生成技术成为了计算机视觉领域的研究热点。视觉内容生成技术旨在将输入信号转换为视觉数据,可划分为非条件式生成和条件式生成两种范式,非条件式生成模型从噪声数据出发合成目标域样本,而条件式生成模型需要融合输入端的条件信息,以可控的方式合成特定要求的视觉内容,在实际应用场景中更具生成创造性。相应地,条件式生成模型也面临着更多的挑战:单一图像
论文部分内容阅读
随着移动互联网的发展,视觉内容相关的消费需求与日俱增,促使视觉内容生成技术成为了计算机视觉领域的研究热点。视觉内容生成技术旨在将输入信号转换为视觉数据,可划分为非条件式生成和条件式生成两种范式,非条件式生成模型从噪声数据出发合成目标域样本,而条件式生成模型需要融合输入端的条件信息,以可控的方式合成特定要求的视觉内容,在实际应用场景中更具生成创造性。相应地,条件式生成模型也面临着更多的挑战:单一图像输入条件下,生成模型需要将图像从源域转换到目标域,涉及自然图像生成中结构信息保留、语义信息理解等通用性问题;进一步地,面对合成需求多样化的场景,典型如人体、人脸图像生成,模型则需要融合多个条件控制生成图像的属性,面临异源信息匹配、耦合特征分离的挑战。针对上述问题,本文以可控高质量图像合成为目标,开展基于对抗学习的条件式图像生成研究,取得了四个方面的创新性成果,具体如下:(1)针对单一图像条件下的结构信息保留问题,本文以图像超分辨率任务为切入点,提出自我调节的图像生成骨干网络,该骨干网络通过堆叠自调节模块构建,将输入图像作为条件项来调制网络深层特征,高效地融合输入图像的结构信息。此外,该研究提出了基于流场的域自适应退化网络,其捕获域之间的空间形变用于估计自然场景下带噪低分辨率图像,以处理自然场景中的低分辨率图像的复杂退化过程。该项研究在基准数据集和真实场景数据集上验证模型效果,实现了高质量且结构一致的图像超分结果,并在多个公开数据集上取得了先进的性能。(2)针对单一图像条件下的语义信息理解问题,本文提出空间注意力感知生成器来建模图像中的物体分布,用于无监督图像显著性物体翻译任务,旨在在复杂图像背景中转换图像主体的类别属性。此项研究以单一自然图像为输入条件,着重解决两个基本问题:如何利用图像类别信息定位物体区域及如何利用空间注意力先验在域之间转换图像主体。本文提出超像素卷积网络和空间注意力感知生成器,前者利用图像类别信息捕获图像中的物体分布响应图,提供空间注意力先验,后者利用注意力先验信息辅助检测图像中显著性物体,并转换图像显著性物体的类别。该研究首次将空间注意力先验应用于图像翻译任务,实现同时定位与转换图像中的显著性物体,并在多个类别转换任务中完成实验验证,生成高度真实的类别转换图像。(3)针对多条件下的异源信息匹配问题,本文以多人脸表情迁移任务为切入点,提出统一的适应模型将任意源人脸的关键点信息匹配至目标人脸,迁移任意面部表情至目标人脸。该研究提出的算法包含人脸关键点适应模块及几何信息感知生成器两个模块。人脸关键点适应模块在关键点特征空间里高效地迁移面部表情,减小源身份和目标身份之间的脸部轮廓的差异,而几何信息感知生成器侧重于融合转换后的面部关键点及目标身份参考图像。该项研究实现在多个身份之间迁移面部表情,生成具有照片般真实感的人脸再现图像。(4)针对多条件下的耦合特征分离问题,本文提出自监督特征解耦模块,分离人脸图像中的身份特征和位姿特征,实现自监督人脸再扮演任务。本文设计了两个形变自编码解耦人脸图像中的身份特征和位姿特征,涉及融合多帧图像得到身份图像的人脸身份编码器及提取人脸位姿特征的人脸位姿编码器。同时,本文提出用于融合解耦后人脸特征的条件式生成器,用于生成特定身份及位姿的人脸再现图像。该项研究在大规模人脸数据集上进行了人脸再扮演实验,展示了本章方法从大量无标注视频中学习自然地重现面部图像的能力,可以生成高真实度的人脸再现图像,并取得了优异的自监督人脸再扮演性能。
其他文献
村镇垃圾的清洁高效处置是我国“绿色宜居村镇”建设的重要一环。热解气化技术在减少污染物排放,实现村镇垃圾就近处置方面具有巨大的发展潜力。但是现有的小规模热解气化设备在连续稳定运行和控制焦油生成等方面仍然存在一些问题。在此背景下,国家重点研发计划资助了《村镇生活垃圾高值化利用与二次污染控制技术装备》(课题编号:2018YFD1100602)的研究工作。本文基于相关的研究内容和目标,探索了混合垃圾含水率
背景与目的:急性肺损伤/急性呼吸窘迫综合征(Acute lung injury/acute respiratory distress syndrome,ALI/ARDS)可由多种原因引起,其中包括目前全世界大流行的新型冠状病毒肺炎(Corona Virus Disease 2019,COVID19)。ALI/ARDS发展迅速,死亡率高,后期极易发展为肺纤维化,对患者及社会危害极大。由于其发病机制目
深度学习中数据集的标注是一件费时费力的工作,算法的开发效率受限于数据集制作的难度和成本。而且基于手工标注的数据集往往存在诸多的错误标注,这些错误样本会对模型训练造成影响。相反地,基于虚拟引擎的合成数据集生成方法则可以在短时间内获取大批量有效的训练数据,其标签可以通过引擎自动生成,标注精度可以得到保证。此类方法的难点在于如何通过虚拟引擎来构建和真实数据集分布相似的合成数据集,通常的做法是采用手工设计
网络(或图)数据在现实生活中无处不在,诸如Twitter、微博等社交平台的出现,激发了人们对网络的广泛关注。社交平台中上亿的用户构成了人与人之间的社交网络;互联网上成千上万的网页构成了页面之间的超链接关系网络;新冠肺炎的蔓延引起公众对与疾病相关的蛋白质相互作用网络的重视。这些网络是真实世界的抽象,描述着复杂环境下实体间的关联性。研究网络数据有助于理解现实世界中的复杂现象,同时也对人类的生产生活具有
水体溶解有机碳是指水中溶解性有机物中所含的碳含量,用于表征水体中有机物含量的综合性指标,能够反映水体有机污染程度。本文面向海水水环境安全保障和城市智慧水务等需求,探索利用光谱法灵敏、实时、可原位监测等优点,着重开展紫外-可见光和三维荧光光谱进行水体溶解有机碳检测的应用理论与技术研究,重点研究了水体溶解有机碳紫外-可见光、三维荧光、融合检测中的预处理、特征提取、映射模型构建等关键问题,提出适用于不同
由于小数乘、除法和整数乘、除法在计算方法上存在内在联系,因此把整数乘、除法与相应的小数乘、除法进行对比复习,使学生在比较两者计算方法的联系和区别的基础上,进一步巩固小数乘、除法的计算法则。
<正>《幼儿园教育指导纲要试行》指出:"幼儿园要开展丰富多彩的户外游戏和体育活动,培养幼儿参加体育活动兴趣和习惯,增强体质,提高对环境的适应能力。"鉴于幼儿自身的发展特点,激发其对户外活动的兴趣是培养幼儿户外活动习惯的首要前提。立足农村幼儿园的实际,教师充分利用和挖掘农村自然资源在户外体育游戏中的运用,激发幼儿体育兴趣,使丰富的农村自然资源发挥其独有的教育价值。其中玉米骨玩具的开发和利用在培养幼儿
基于《内经》营卫理论阐述营卫与卒中、营卫与不寐、营卫与卒中后失眠(PSI)的关系,探讨基于营卫理论指导下PSI的诊治。病后体虚、营卫失和是PSI的发病关键。分析PSI的方药、针灸治疗原则及辨证分型,进而更好地指导临床,科学防治。
长期自主移动是机器人走向实际应用的一项重要技能。长期运行中,环境不可避免地发生各种变化,包括结构变化和外观变化,这要求算法对变化场景具有足够的鲁棒性。由于成本较低,近年来视觉传感器得到了学界和工业界的青睐,但它们对环境变化较为敏感,对定位感知算法提出了挑战。一方面,视觉特征不鲁棒会带来错误匹配,影响定位效果。另一方面,在园区、港口等非通用场景中,标注数据的缺失使得基于机器学习的特征学习方法难以开展
背景:乳腺癌发病率居全球女性恶性肿瘤之首,且中国乳腺癌发病率正逐年上升。考虑到我国人口基数,如此庞大的患病人群将为社会及家庭带来巨大负担。乳腺癌作为一种全身性疾病,根据患者自身情况进行个体化诊疗对提高患者生存率、保证生存质量具有重要意义。随着乳腺筛查范围的普及与扩大,如何寻找最佳方式鉴别乳腺肿瘤的良恶性、对恶性肿瘤要采取何种治疗措施能够保证疗效的同时降低毒副作用,这些都是乳腺癌诊疗中的关键问题。在