真实场景中人脸超分辨率技术的研究

来源 :黑龙江大学 | 被引量 : 0次 | 上传用户:xiaomai1212
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
人脸图像分析是计算机视觉领域的主流研究课题。但是,受光照条件、目标运动、距离及传感器本身的制约,往往只能采集到低分辨率的图像,由于缺少人脸细节信息,很难开展进一步的人脸分析。人脸超分辨率重建技术通过提取并利用低分辨率的人脸图像中的信息重建出高分辨率的人脸图像,能够有效提升低分辨率人脸图像的应用价值。但是,现有的人脸图像超分辨率模型一般都采用人工下采样的方式获得低分辨率图像,无法构造超分辨率模型有效的训练样本集。实际测试中,往往由于降质退化过程中模糊核分布的差异,真实场景中人脸超分辨模型性能下滑严重。本文从人脸图像的降质退化过程出发,提出了一种基于深度学习的两阶段人脸超分辨率重建网络,首先通过生成对抗网络学习真实人脸图像的降质退化过程,然后构建有效的训练样本集并送入超分辨率生成对抗网络中恢复出高分辨率人脸图像,可以有效改善重建的人脸图像的质量。本文提出的人脸超分辨率网络由两个对抗子网络组成。一是人脸模拟退化子网络,利用高分辨率人脸图像和真实的低分辨率人脸图像训练一个退化变换网络,并模拟真实场景中的人脸图像降质退化过程以生成更加真实的低分辨率人脸图像。本文提出的退化变换对抗子网络同时考虑了模糊核、噪声及人脸关键点热图信息,以保持高、低分辨率人脸图像几何结构的一致性,并使用了稠密连接结构加强网络中的特征复用。二是人脸超分辨重建子网络,人脸模拟退化子网络生成的低分辨率人脸图像和对应的高分辨率人脸图像通过超分辨重建对抗子网络重建出最终的超分辨率人脸图像。重建网络利用了带有注意力组件的残差模块,进一步提升人脸图像的超分辨率重建质量。本文的网络模型在来自于合成数据集LS3D-W的SFLRS数据集上和来自于真实数据集Widerface的RFLRS数据集上与其他方法采用定性和定量实验对比。定量实验:本文模型在SFLRS数据集上达到了21.68的PSNR精确度,RFLRS数据集上达到了12.53的FID精确度。定性实验:本文模型恢复出了更多的人脸细节,视觉效果更加清晰真实,进一步说明对于真实场景中的数据集,本模型性能依旧良好。此外,消融性研究也证实了所提出组件的有效性。
其他文献
人类社会正在从工业社会进入信息社会,乃至进一步进入智能社会。信息传播正在成为社会发展最重要的动力因素。在这一背景下,社会演化的逻辑也从“生产方式”导向转变为“信息方式”导向,策展这一专职人员从事的专业领域将跳出自身限制,转而成为一种有效理解社会运作规律的理念和方法,同时成为信息社会语境下社会实践成功的一项重要指标依据。大至社会空间成为“策展空间”,小至个人生活笼罩在“策展人姿态”之下,理解策展的逻
期刊
得益于深度学习的方法在计算机视觉方面的快速发展,当前与人脸识别紧密相关的任务一直备受各界关注。人脸识别广泛应用在人脸解锁、面部美颜、人脸重建等方面,其中关键点检测技术是这些任务的基础,因此,提高关键点的检测精度至关重要。目前,对于正面以及无遮挡的人脸图片,人脸关键点检测已经能够达到较高的检测精度,但是当处于遮挡、姿态、头部姿势、光照等因素的影响下时,已存在的方法往往得不到最理想的结果。另外,训练样
学位
由于新药物的开发是一个既费时又昂贵的过程,人们开始为已获批准的药物寻找新的用途,进而缩短了药物研发时间和节约了科研费用。预测药物-蛋白质相互作用(Drug-Protein Interaction,DPI)是药物开发和重定位的重要步骤,应用计算的方法预测药物-蛋白相互作用可以缩小筛选范围,为生物学家提供高概率互作候选。因此,如何准确有效的预测DPI是一个在生物信息学领域值得研究和探索的问题。本文结合
学位
20余年来,城市规划展览在中国逐步形成了规模和一些标准化的程式。在现有的规划策展中,行政、规划、策划、设计等各个专业有前后衔接式的合作交流,但尚未实现真正的纵向打通,难以为展览提供兼顾专业性和体验性的叙事。实现城市相关的多学科视野、促进展览相关的多专业协作,将是未来规划展览发展的趋势和方向。同时,关注“信息—规划(物)—观众(人)”中三个关键环节的策划与表达,始终保持叙事、内容、设计之间的互动,以
期刊
网络数据可以表达出物与物之间的联系,随着互联网的兴起,生活中充斥着形式各样的网络数据。在关于网络的研究中,如何有效的对网络信息进行表示,是一个亟待解决的问题。传统方法可以利用高维度稀疏向量表示网络中的一个节点,但局限在于难以度量节点之间的相似性并且还会增大模型的时间和空间复杂度。受益于自然语言领域的表示学习技术,相关的低维度稠密向量表示方法也被应用于网络数据中。网络表征学习(图嵌入)在一系列机器学
学位
新药的研发过程是一段极为消耗时间和成本的过程并且失败率很高。因此,确定现有药物的新适应症(药物重定位)可有效促进药物开发效率,降低实验研发的成本。然而,如何更加准确高效的预测药物与疾病之间的关联是我们所要研究的重点内容。目前,已有的药物重定位方法都侧重于有关药物和疾病的多源数据,并未考虑不同层面的信息之间的联系。本文通过针对药物和疾病的不同层面的信息进行学习和构建模型,其中包括药物和疾病节点对层面
学位
近年来,国内外汽车市场发生巨大变化。在国外,由于受经济发展停滞的影响,汽车需求出现萎缩趋势,各国各汽车企业的竞争加剧,汽车市场总体低迷。在国内,汽车市场在经历了比较长的快速增长期后,汽车消费也进入下滑趋势。此外,国内外的传统汽车市场受新能源汽车快速发展影响较大,新能源汽车对传统汽车形成了竞争优势,对传统汽车的冲击不断扩大。目前,新冠疫情在全球肆虐,也成为影响汽车市场的一个因素。在这样的背景下,作为
学位
药物-靶标相互作用(DTI)的预测是研究和发现药物的关键步骤。药物-靶标相互作用的预测能够探索和识别药物与蛋白之前潜在关系的过程。与生化实验方法相比,传统的方法费力、耗时且极其昂贵,因为DTI可以有效识别潜在的DTI并且缩小生物学家和化学家的搜索空间。大多数预测DTI的传统方法,无论是用于药物发现还是重定位(将现有的药物重新用于新靶标)都是基于配体的方法。因此,准确有效的识别潜在的蛋白候选对于DT
学位
过度拥挤和非预料死亡在急诊科是一种常见现象,可能给患者带来不良预后。通过临床电子健康记录,尽早发现患者的病情恶化,有效预防意外死亡,是当下急诊所面临的一项巨大挑战,这需依赖急诊医师丰富的临床经验和敏锐的洞察力。现今,数据驱动的机器学习算法有助于挖掘数据模式,在急诊医学领域中表现出巨大潜力,一方面通过量化患者危重度解决传统评分系统准确度低的缺点,另一方面可构建自动化预测系统辅助医生进行决策,实现更合
学位
在经济全球化趋势下,我国对外直接投资流量高速增长,其中跨国并购是对外投资的主要途径之一。越来越多的中国企业走出国门,在2016年前后掀起了海外并购热潮,成为跨国并购的主力军。家电行业由于国内市场饱和及扩展海外业务的需求,在海外并购中尤为活跃,本文选择其中具有代表性的海信视像并购东芝TVS案例作为研究对象,进行并购绩效评价研究,旨在真实地反映出并购绩效,同时为海信视像后续整合优化提供帮助。本文基于平
学位