人脸属性迁移网络的设计与实现

来源 :大连理工大学 | 被引量 : 0次 | 上传用户:qwe1658361
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸属性迁移任务作为计算机视觉领域一个重要的研究分支和人脸属性研究的基础工作,旨在精准地迁移给定人脸属性图像中的目标语义属性。近年来,深度学习的发展推动了人脸属性迁移任务的研究,现有的人脸属性迁移算法一方面通过迁移不同的人脸属性,达到了交互式娱乐的效果;另一方面通过合成更多的人脸数据,一定程度上缓解了人脸属性分析任务中数据量不足和类别失衡等问题。然而,由于复杂的面部结构和模糊的人脸属性定义,现有算法仍然存在属性信息解耦不完全的问题,导致在修改目标属性区域的同时,造成面部无关信息发生改变,产生人脸身份信息改变、人造伪影等问题。鉴于此,本文从基于参考样例方法和基于条件向量方法两方面对人脸属性迁移技术展开研究。本文主要研究成果如下:(1)以参考样例作为额外条件,本文提出了深度语义解耦人脸属性迁移网络DSD-Net。该网络以条件生成对抗网络为基本框架,通过低秩双线性池化将图像特征与语义属性向量在通道层面上融合,以学习特征通道间成对的相关关系,同时采用注意力机制关注各属性所在位置区域的语义信息,进行人脸属性的定位和解耦。为进一步提升属性解耦的性能和生成高质量的人脸属性图像,该网络采用属性分类判别器和人脸重构损失函数进行约束。在人脸数据集Celeb A和Celeb A-HQ上大量的实验结果证明了DSD-Net在挖掘人脸属性之间的关系和准确迁移目标属性上的有效性。(2)以条件向量作为额外条件,本文提出了基于条件向量的分组解耦网络AGDN进行人脸属性迁移。该方法从两方面着手,一方面,将数据集根据标签和属性值进行层级分组,缓解人脸属性图像的标签条件不平衡造成无关信息改动的问题。另一方面,该网络以循环一致性生成对抗网络为基本框架,采用目标标签属性作为索引将随机噪声映射为不同的样式向量,进一步指导人脸属性特征实现局部属性的迁移。同时,为了充分利用不同分辨率的人脸特征,该方法将编码器与解码器在空间上进行信息连接,并采用无关条件判别器进行约束,防止人脸身份等信息发生篡改。在数据集Celeb A-HQ上大量的实验结果表明,AGDN能够准确迁移目标属性且生成逼真的人脸属性图像。针对以上两种方法,本文进一步对DSD-Net和AGDN两个网络进行定性和定量的对比分析。结果表明,DSD-Net以参考样例为条件生成图像的细节更为丰富,而AGDN在保持属性无关信息上的性能更优。
其他文献
行人再识别是计算机视觉领域的重要任务之一。通过给定一张特定行人的图片,行人再识别技术可以在图库或视频中查找到同一行人的其他图片,从而达到识别行人、检索行人的目的。随着监控摄像头的普及、智能城市的建立以及社会安全的需求,行人再识别技术获得越来越多的重视,因此行人再识别问题的研究有着重大意义。目前流行的有监督行人再识别技术已经取得了巨大的进展,在一些公开数据集上达到不错的性能。但是,这些方法却很难应用
个性化的头部解剖结构数字模型在面部外科手术、头部电磁学和生物力学仿真、人体艺术建模等诸多领域有着重要应用价值。在不方便使用断层扫描影像设备头部影像的情况下,使用面部照片引导个性化头部建模成为一个值得研究的替代解决方案。本研究以课题组开发的可变形中国人群数字解剖图谱为基础,实现三维图谱与二维正面照片的配准,得到对受试者头部及其内部解剖结构的个性化三维建模。本文的主要内容可以分为以下三个部分:(1)基
图像作为重要的信息载体,其质量的高低直接影响了信息表达的能力,因此图像超分辨率技术凭借其恢复高质量图像的强大能力在许多领域有着广泛应用。相较于传统二维图像,光场图像满足了人们对高维信息的需求。但是,主流光场相机捕获的光场图像始终存在空间分辨率和角度分辨率的权衡,面临着图像分辨率不足的问题。深度线索在光场超分辨重建中有着重要作用,但是现有工作大多关注如何利用深度线索,而忽略了对深度线索的深入挖掘与精
近几十年来,随着计算机和电子科学技术的飞速发展,涌现了许多先进的电子产品,例如智能手机,数码相机等。这些设备提供了快速记录信息的机会,已经逐渐成为人们日常生活中必不可少的组成部分。但是,当使用数码相机拍摄数字屏幕时,照片中会出现令人反感的摩尔纹。摩尔纹的存在严重损害了图像的质量,并且还会影响到后续的分析和处理。摩尔纹去除是图像恢复任务的一种,旨在最大程度的恢复被摩尔纹污染的屏摄照片。由于摩尔纹广泛
如今社会上出现各种各样先进的产品和技术,如高性能的智能手机、各种新颖的图像编辑APP和常用的社交APP等。这些APP的出现和流行让图像的拍摄、编辑和传播变得方便,也使网络上充斥着各种真真假假的数字图像。由此可见,高科技的发展作为一把双刃剑,在丰富便利生活的同时,也使数字图像的可信度逐渐降低,会有不法分子为实现自己目的而恶意篡改图像。为了进一步保证数字图像的可信度,研究者提出了被动数字图像取证技术,
骨关节炎(Osteoarthritis,OA)是最常见的退行性关节疾病,其特征是关节软骨的进行性退化和软骨下骨的重塑以及骨赘的形成,临床上引起关节疼痛、功能障碍,甚至残疾。关节软骨细胞外基质(Extracellular Matrix,ECM)分解代谢的增加是OA发生发展的关键因素。ECM的主要成分是蛋白聚糖、Ⅱ型胶原和非胶原蛋白,其在合成或降解过程中一些特定的碎片得以释放到体循环中。随着分子
在海上目标检测的过程中,基于人工智能的目标检测已经成为必不可少的重要实现工具。在宽阔的水域或者港口码头,无论密集的聚集还是松散的分布,都需要对船舶快速地检测和定位,进一步有分类以及分割的实际需求,对目标检测稳定高效性的要求也越来越高。本文的主要研究内容为改进YOLOv3目标检测算法的网络结构,以期提升网络的准确率和召回率。本文以水上船舶图像作为研究对象,进行深度学习神经网络模型研究、船舶图像增强研
近些年,随着国家法制建设的推进,如何通过信息抽取技术从海量司法文书中获取有用信息,助力于“智慧司法”建设,已成为自然语言处理领域中的研究热点。其中,关系抽取作为司法信息抽取技术中的关键技术之一,不仅能够帮助办案人员进行案件要素的关系梳理,提高办案效率,还可为司法问答、司法推理、司法知识图谱构建提供重要的技术支持,因此,其研究意义重大。然而由于司法文本的复杂性和特殊性,导致各罪名案件间的关系诉求存在
深度估计是诸多立体视觉任务中的基础环节,在三维重建、机器人、自动驾驶等领域有较为广泛的应用。近年来,卷积神经网络的相关理论趋于成熟,在计算机视觉领域获得了瞩目成就,也为深度估计任务提供了新的解决思路。基于深度学习的深度估计任务通过理解图像的内容,对现实场景中各点的实际距离进行预测。单目深度估计受限于尺度模糊,为了提升其预测准确性,网络结构和信息线索成为解决这一任务的关键。本文从探索不同的信息线索对
在有雾天气下,空气中会存在大量悬浮粒子。来自场景的反射光穿过雾气时,会与粒子发生散射,导致反射光衰减,这种现象严重影响了后续图像处理技术的功效。在很多现实场景中都会面临此问题,所以,图像去雾是一项极具实际意义的任务。本文主要针对去雾算法中的暗通道先验算法进行研究,通过分析其存在的问题,提出改进的去雾算法,最后通过实验验证改进算法的有效性。具体研究内容分为两部分:(1)改进的天空区域分割及去雾算法。