基于深度学习的人脸编辑系统研究与应用

来源 :东南大学 | 被引量 : 0次 | 上传用户:dna_cc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸属性编辑旨在操纵面部图像的单个或多个属性,生成具有所需属性的新面部图像,同时保留其他原始细节,在智能监控、娱乐社交等诸多领域有着广泛的应用需求。传统的人脸编辑需要借助专业的图像编辑软件完成,但由于普通用户往往缺少专业的图像编辑技能,因此这种方式并不符合大多数普通用户的需求。目前很多公司推出了针对性的人脸编辑应用,例如美图公司出品的美图秀秀,字节跳动推出的激萌和轻颜相机等。这些产品在一定程度上满足了普通用户的需求,但仍然存在一些缺陷,比如编辑调整后的图像失去了原有的细节,操作不够简单等,需要对相应的功能进行进一步优化。为了解决上述问题,获得更加真实自然的人脸图像编辑效果,本文借助深度学习网络,设计了一个人脸图像编辑系统。该系统由人脸和人脸关键点检测网络、人脸分割网络和人脸编辑网络三个部分构成。对于人脸检测和人脸关键点检测部分,为了取得较高的精度,人脸检测和人脸关键点检测一般依赖于独立的检测网络。但这样设计的网络往往有较多的参数量,这使得网络推理时运算量较大,速度较慢。考虑到人脸检测和人脸关键点检测这两个任务具有很强的相关性,本文设计了一个轻量化的人脸和人脸关键点联合检测网络–Flash Net,利用多任务学习的方式将这两个任务建模在统一的神经网络框架之下,并利用结构化知识蒸馏技术进一步提高了Flash Net的检测精度。对于人脸分割部分,本文提出了一个轻量化人脸分割网络-Flash Seg Net。该网络采用了快速下采样方式来减小网络运算量,并通过一个全局池化操作来获得较大的上下文信息,利用注意力机制和特征融合的方式来增强特征表达能力。此外,本文利用针对语义分割的结构化知识蒸馏方法提高网络精度。针对样本类别数量不均衡的问题,本文设计了一个权重调节系数来控制训练过程中的梯度回传强度以提高含有少量样本的类别的分割精度。对于人脸属性编辑部分,本文采用一种条件式生成对抗网络来生成人脸图像。为了获得高清的人脸图像,采用了由粗到精的生成器结构和多尺度判别器结构。为了将人脸属性解耦,使得各部分属性在进行编辑的时候不会互相影响,本文利用语义分割掩膜作为生成条件并针对人脸属性编辑任务提出了一种新的语义区域自适应归一化模块以提高生成的人脸质量。本文的核心在于借助深度学习工具来实现更快捷更自然的人脸编辑。大量的实验结果表明,本文提出的各项算法精度可以满足人脸编辑系统的要求,用户可以实现较高自由度的人脸编辑。
其他文献
由二维图像提取出图像场景的深度信息是计算机视觉中的经典问题。准确的深度信息能够更好的让我们理解场景的三维结构,了解场景中物体之间的三维关系。深度信息在自动驾驶、AR、VR、机器人导航等具有重要的应用价值。在景深估计算法中,利用传统的双目立体匹配算法存在着精度和实时性不能共存的矛盾,同时也存在着只能适用于特定场景的问题。近年来,随着人工神经网络的发展,尤其是卷积神经网络在图像上的应用使得景深提取取得
目前在生物群体和人类社会中的集群行为得到了深入的研究。然而,动物的协同行为与人类有着显著不同。一般而言,描述动物协同行为的短期网络相比于人类有着较高的阶数,这就需要用高阶网络去刻画。在本文中提出了一种使用集群行为时序数据的方法来确定动物群体的最优极大马尔科夫阶数从而反映交互网络的最大记忆能力。我们的方法结合了时延的因果推断算法以及高阶图模型。一方面因果推断算法基于信息论,通过聚合因果邻居和删除非直
伺服控制是运动控制领域的一个重要分支,伺服系统在现代工农业、国防和医疗等高新科技领域有着十分广泛的应用。伺服系统的典型机械传动结构是由高速伺服电机驱动减速传动机构,再由传动机构带动负载运动,完成能量的转换。一方面,这样的机械传动结构中一定会存在齿隙等非线性环节,齿隙非线性既是一种力矩传动过程中不可缺少的非线性因素,同时也是一种影响系统性能的非常重要的因素;另一方面,由于传动机构的刚度不是理想的无穷
深度估计作为计算机视觉领域的一项基础性研究,在自动驾驶、三维视频、增强现实等领域具有广泛应用。单目深度估计具有价格低廉、适用性广等特点,因此近年来逐步成为研究热点。现阶段,深度学习技术在图像分类、目标检测和语义分割等多个领域都取得了显著进步。借助深度模型强大的特征表达能力,大量学者设计了一系列端到端的单目深度估计算法,并在性能上获得明显的提高。但是,现有的方法仍存在某些问题:这些算法大都遵循静态环
随着社会的发展和科技的进步,智能图像算法被广泛应用到军事、医疗、交通等各个领域,其中目标检测和跟踪算法是智能图像算法中最热门的分支。工程环境下的大量虚警以及计算平台性能的限制,给目标检测与跟踪带来了更大的挑战。本文以周界监控项目为背景,研究实时的目标检测和目标跟踪算法,并通过多枪一球的多传感器融合策略,兼顾周界全景的同时自动跟踪放大目标细节,以满足快速告警、精准定位、全景探测的实际项目需求。首先,
弱小目标检测技术与国民安全密切相关,其在保障领空安全、机场净空防护以及军事敏感地区的空中管制等领域具有广泛的运用和重要的价值。小目标成像区域小、特征信息弱、尺寸变化范围大,这些特性导致其在实时系统中难以被准确地检测出来,因此如何从复杂变化的背景中实时、准确地捕获目标并及时发出预警是该项技术的核心关键,也是本课题的研究重点。基于该问题,论文做了以下工作:基于传统弱小目标检测方法,论文提出了一种多尺度
人工智能和机器人是当前技术发展的重要领域,专利及其他科学技术文献反映了基础研究和技术创新的进展。应用自然语言处理技术,将机器人等重要技术发展领域和专利等科学技术文件结合起来进行深入研究,可以帮助领域从业人员高效地找到产品设计问题的解决方案,实现领域知识挖掘、学科发现与关联性评价、以及演化趋势分析。这对于理解不同科学技术领域的互动与渗透、发现潜在商业机会具有重要意义。知识图谱是Google为了优化搜
多智能体系统已经在智能电网,智慧交通,自动驾驶,军事集群系统等领域被广泛应用。多无人机与多机器人所构成的多智能体系统在多目标跟踪与监控,协同编队,智能网联车队等实际应用中扮演着重要角色。目标的跟踪与包围是多智能体系统中的一个重要研究问题。其中,目标状态估计又是实现多智能体目标跟踪问题的重要技术。传统的目标估计问题,一般都会假设目标的系统方程和输入信息已知。然而实际应用中,目标中不可避免地存在一些未
将机器人引入大型船舶喷涂作业是目前船舶制造业发展的必然趋势。现有的机器人应用主要以人工示教的方式进行,而人工示教方式存在着对大型工件示教操作难度大、效果差等缺点,限制了机器人在大型船舶喷涂任务中的应用。一种有效的解决方式是采用离线编程进行喷涂机器人轨迹规划,然而目前已有的离线编程系统大多只适用于中小型简单喷涂场景,面向大型复杂场景的轨迹规划能力较弱,无法解决大面积、变曲率的大型船舶外立面喷涂问题。
随着我国汽车保有量的迅速增长和人口向城市集聚的趋势不断加剧,立体车库成为满足快速增长的停车需求的重要解决手段。目前的立体车库多是本地采集数据和控制,随着“互联网+”和云计算的兴起,把传感器数据采集到云端进行基于人工智能的大数据处理,进而实现“无人值守”的立体车库成为发展趋势。基于此,本学位论文在江苏省重点研发计划项目的支持下,以智能立体车库云数据采集和控制系统为目标,研究车牌信号提取和立体车库电机