基于短波红外成像系统的人脸图像增强与识别关键技术研究

来源 :中国科学院大学(中国科学院上海技术物理研究所) | 被引量 : 0次 | 上传用户:jasn114
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
由于短波红外辐射独特的波段特性,短波红外成像系统具有夜间可成像、受光线变化干扰小的优点。近年来,为了提升夜间等微光环境下获取图像的质量,使得安防、监控设备可以真正做到全天候有效运行,短波红外成像系统成为发展的新方向。但也正因为其波段特性特殊,短波红外成像系统获取的图像与常见的可见光红外图像具有较大的模态差异,在观察时与可见光图像相差较大,影响对图像中目标的观察及识别。在监控、安防应用中,对所获取图像中的人物身份进行识别是基础且十分重要的需求。同时,目前已有的人脸图像数据库中的注册人脸图像多为可见光人脸图像,如何克服短波红外图像与可见光图像间的模态差异,根据已有的可见光人脸图像对探测到的短波红外人脸图像进行识别,仍存在较大困难。随着深度学习技术的发展,深度神经网络在图像处理的各个领域取得了突破,但在短波红外人脸图像方面的研究受限于数据规模与获取难度,相关研究较少。本文建立了短波红外-可见光人脸图像数据集,采用深度学习方案,对短波红外人脸图像的增强、识别关键技术进行研究,涵盖了短波红外人脸图像与可见光人脸图像的翻译、短波红外人脸图像的修复以及短波红外-可见光人脸识别三个方面。在研究中,本文提出了一系列创新性的解决方案,并通过实验验证了所提方案的有效性。本文的主要工作与贡献包括以下方面:(1)建立了短波红外-可见光人脸图像数据集SVFD(SWIR-VIS Face image Dataset)。对短波红外-可见光人脸图像的增强与识别问题进行分析,对研究所需数据应符合的特征进行总结。根据总结的特征进行数据采集,对图像进行处理并建立了短波红外-可见光人脸图像数据集SVFD。同时,采用已有识别算法对所建数据集进行测试,展示所建数据集的作用与特点。(2)深入研究了短波红外-可见光人脸图像翻译问题,通过设置新的损失函数计算通路,更好地应用不同模态间图像的联系,提升图像翻译的质量。通过强化图像的整体信息以及Cycle GAN中两个方向的训练路径的信息交换,图像翻译框架解决了翻译框架在训练中可能学习错误映射的问题,将短波红外人脸图像翻译为更接近人眼日常所见的可见光人脸图像。(3)针对人脸图像存在遮挡的情况进行研究,对Deep Fill框架进行改进,以解决其在图像修复中修复结果较差,补全区域较模糊的问题。对空洞卷积模块进行改进,扩展其实际感受野。从相似性角度引入相似性损失函数,提升对短波红外人脸图像修复的质量。(4)短波红外人脸图像由于其与可见光图像的模态差异,通用的人脸识别算法很难准确对其进行识别。本文提出了基于内容特征提取的短波红外-可见光人脸识别框架,将图像翻译网络中的内容特征提取器作为克服模态差异干扰的关键。对图像翻译框架DRIT进行改进,得到可以更为准确地提取图像内容特征的内容特征提取器。设计了基于内容特征进行人脸识别的特征处理、识别网络,有效提升了短波红外-可见光人脸识别的准确率。
其他文献
GaN基材料具有直接带隙、禁带宽、光吸收系数大、抗辐射及耐高温等优良的物理和化学特性,非常适合制备高性能的光电探测器或者电子器件。其中Al GaN材料随着Al组分的变化,其禁带宽度可以从3.4 e V变化到6.2 e V,恰好覆盖200 nm-400 nm范围的紫外波段,因此在紫外探测领域(尤其是日盲紫外区域)有很大的应用价值。随着航天、军事以及科研对于研究紫外焦平面探测器的需求,相关的研究报道层
海表温度作为最重要的海洋研究要素之一,对于气候水文观测、生态资源探测和自然灾害监测等有着重要的意义。我国为建设海洋强国,加快海洋资源的开发和利用,先后发射了四颗太阳同步轨道海洋一号系列水色水温遥感卫星。其中海洋一号B星(HY-1B)于2007年发射升空,2015年才停止工作,其上搭载的主载荷海洋水色水温扫描仪(COCTS)在轨工作9年积累了丰富的海洋遥感数据,对于我国海域的科学研究和沿岸建设,提供
随着航天探测及电子信息产业的不断发展,传统散热器已难以满足高热流密度、高均温性的控温需求。环路热管作为一种利用工作流体流动相变实现热量传输的高效换热装置,因其具有传热能力强、柔性连接、传输距离长、可靠性高、无运动部件及无需外力驱动等优点,在航天热控领域及高热流电子产品散热领域有着广阔的应用前景。由环路热管运行原理可知,蒸发器及储液器作为环路热管的核心部件,其内部工质的流动及换热情况将直接影响整机系
红外探测技术具有环境适应性好、探测伪装目标能力强、功耗低、体积小等众多优点,被广泛应用于各种领域。读出电路是红外探测系统中的关键部分,因此读出电路具有非常重要的研究意义。随着红外探测领域材料、器件、工艺水平的提高,以及市场的需求,读出电路正快速朝着更大面阵、更快速度、更低功耗、更智能的方向发展。而读出电路数字控制是实现更高性能读出电路的重要部分。本文对面向超光谱应用的读出电路数字控制进行了研究,设
在空间探测应用中,需要使用热控系统对低温光学系统和电子学系统进行控温。机械制冷机能够提供较大的冷量,同时保证输出温度的精度和稳定性,是航天热控系统的理想冷源。环路热管是一种高效的两相热传输设备,能将制冷机的冷量远距离传输至受控元件,同时隔离制冷机对光学系统的电磁和机械震动干扰,环路热管管线具有一定的柔性,方便在航天器内灵活布局。环路热管冷凝器是与制冷机换热的核心部件,由于冷凝器尺寸通常远大于制冷机
为了阐明中枢神经系统损伤后神经可塑性的分子机制,本实验探索了多种方法,包括传统差异筛库、传统cDNA array和cDNA microarray,对穿通纤维切断后大鼠海马的基因表达图谱进行了研究。传统差异筛库在大鼠脑的2300个低丰度表达基因克隆中筛选到了6个在去神经30天海马中差异表达的基因,但Northern blot 没有证实其中任何一个基因为真阳性克隆。Custom cDNA array
酵母基因PHO85a编码一个依赖于细胞周期蛋白(cyclin)的蛋白激酶(Cdk),Pho85b与Pho80形成Pho85-Pho80激酶复合物,磷酸化Pho4从而调节其细胞地位。此外,Pho85还参与其他细胞功能调节,包括细胞周期、糖原代谢,以及细胞的自我吞噬作用等。Pho85的这种功能多效性归于其相关的细胞周期蛋白因子,迄今为止已经鉴定了10个与Pho85相关的细胞周期蛋白质因子(Pcl):P
单核苷酸碱基多态(single nucleotide polymorphism,SNP)是基因组序列中最为常见的遗传多态。在本论文中我们拟建立人类21号染色体中国人SNP数据目录和单倍型图谱,寻找人类与黑猩猩等灵长类动物的序列差异,并将SNP应用于复杂疾病(原发性高血压)致病基因的寻找,环境因子敏感基因(相同苯环境下更易引发苯中毒)的寻找和乙型肝炎(hepatitis B virus,HBV)病毒
新型疾病与癌症逐渐表现出早期诊断困难,晚期无法治愈的特点,迫切需要发展高灵敏探测技术实现对疾病早期超低浓度目标物的快速、准确诊断。由于具有灵敏度高、响应速度快、制备成本低廉、小型化可集成的特点,基于纳米材料半导体的生物传感器备受关注。特别是二硫化钼(MoS2)纳米薄膜生物传感器,相比于石墨烯和其它体半导体材料,其合适的禁带宽度在生物传感器应用中对生物目标物拥有更好的生物兼容性以及更低的探测极限,在
氧化钨(WO3)是一种极其重要的n型氧化物半导体功能材料,其禁带宽度为2.4–2.8e V。WO3纳米材料一般以非化学计量相形式存在,体结构带有不同程度的氧空位和缺陷,这种特性可以促进材料表面的气体吸附和脱附,使得WO3纳米材料成为半导体气敏传感器重要的研究对象。在过去的几十年内,为了提高传感器的综合性能,科研工作者在调控和功能化WO3的纳米结构方面做了很多工作,但在WO3纳米材料探测气体的内在工