基于解析图先验的深度学习人脸超分辨率技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:sese4546
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸超分辨率(人脸幻觉),是一种从低分辨率人脸图像恢复具有高频细节的高分辨率人脸图像的技术。该技术具有重要的学术研究和实际应用价值。深度学习在计算机视觉领域大显神通,基于深度学习的人脸超分辨率方法也获得了优越的性能,但在网络结构的设计,以及对人脸图像独有的先验知识的利用等方面仍然存在一些缺陷。第一、现有利用先验知识的方法,通常先对低分辨率人脸图像进行超分辨率,得到其中间结果,然后获取中间结果的先验知识,再利用中间结果和先验知识做超分辨率,进而生成超分辨率结果。然而,获取的先验知识直接依赖于中间结果的质量,一旦中间重建结果的质量差,得到的先验知识也存在偏差。第二、在自然图像超分辨率中,通道注意力和空间注意力已经被证实有助于图像重构性能的提升,而人脸图像作为一种特殊的自然图像,注意力机制同样具有提升人脸超分辨率性能的能力,而现有的人脸超分辨率方法没有充分利用注意力机制。第三、现有人脸超分辨率网络通常是先上采样或后上采样的结构,因而在整个网络中特征图仅在高分辨率空间或低分辨率空间,特征图分辨率多样性低,影响网络性能。针对现有方法存在的问题,本文提出两种人脸超分辨率方法。1)提出一种解析图指导的多尺度注意力人脸超分辨率网络。为了避免先验知识受中间结果影响,本文直接从低分辨率人脸图像中提取人脸解析图,然后利用低分辨率人脸图像和解析图做超分辨率。在此基础上,将通道注意力和空间注意力引入到人脸超分辨率问题中,且对其进行改进,提出基于多尺度注意力机制的多尺度特征提取方法。最后,设计了Fish SRNet网络,通过生成不同分辨率的特征图,提高特征图分辨率多样性,而不将特征图限制在低分辨率空间或高分辨率空间,最终达到提高人脸超分辨率网络性能的目的。2)提出解析图指导的深度循环人脸超分辨率网络。本文发现在解析图指导的多尺度注意力人脸超分辨率网络中,解析图的引入并没有提升客观评价指标,因此本文对解析图的有效性进行深入分析,并提出一种简单有效的解析图利用方法。将低分辨率人脸图像和解析图插值成高分辨率人脸图像的大小后,拼接在一起作为网络的输入。此外,本文设计了人脸超分辨率循环网络,在不增加网络参数的前提下,提升网络性能。
其他文献
《伊利亚特》讲述了一场争夺美女海伦的战争,实际上是迈锡尼王蓄谋已久的为争夺爱琴海东岸重要商贸城市特洛伊及东方贸易通道的战争。希腊神话反映了希腊风土人情、商业贸易
永磁同步直线电机(Permanent Magnet Synchronous Linear Motor,PMSLM)作为直驱式传动机构的核心单元,推力密度大,控制精度高,机械损耗小,被广泛应用在半导体制造设备、计算
军团菌是引起军团菌病的重要病原体,在世界各地时有暴发流行。我们对军团菌检验方法作了系列实验研究,改进了传统的细菌分离培养和生化试验,建立了聚合酶链反应(polymerase chain
建立区域卫星导航系统的测控网是卫星导航系统要解决的关键问题之一。讨论国内测控站的布设问题,采用网格计算方法分析国内测控站对导航星座的可观测性。引入位置精度衰减因子
薄壁内腔类零件具有重量轻、比强度高的特点,应用十分广泛。为了提高结构的可靠性和工作性能,这类零件通常采用整体式结构设计,如航空发动机中涡轮盘、压气机盘等核心零部件。通过采用整体结构设计可以使发动机重量减轻,大大提高发动机的稳定性和安全性。然而,由于零件的结构复杂、刚性低,车削这类零件的内腔结构是一个挑战性的问题,只能采用非标准的弯板刀具进行加工。内腔结构的深度最深可深达150mm,弯板刀具车削加工
<正> 一、美国的社区银行 (一)什么是社区银行? 社区银行的概念来自于美国等西方金融发达国家,由于“社区”并不是一个严格界定的地理
<正>本文在遥感与GIS技术的支持下,以干旱区新疆天山北坡玛纳斯地区20世纪80年代末期Landsat TM 影像和90年代末期Landsat ETM+影像为数据源.目视解译获得了研究区相应两个时
会议
高考是我国重要的人才选拔方式,随着时代对人才要求的不断提高,高考自身的使命和定位也在发生变化。2014年9月《国务院关于深化考试招生制度改革实施意见》颁布,对高考考试内