【摘 要】
:
深度图像超分辨率(Depth map Super-Resolution,DSR)是一个将低分辨率深度图像重建为高分辨率深度图像的技术,对于深度图像的应用如3D重建、姿态估计、自动驾驶等具有重要意义。然而,由于深度传感器自身性能的限制以及成像环境的复杂性,很难直接获取高质量、高分辨率的深度图像,需要后续的深度增强技术对获取的低质量、低分辨率深度图像进行恢复。本文从提升深度超分辨率算法的性能及实用性出
论文部分内容阅读
深度图像超分辨率(Depth map Super-Resolution,DSR)是一个将低分辨率深度图像重建为高分辨率深度图像的技术,对于深度图像的应用如3D重建、姿态估计、自动驾驶等具有重要意义。然而,由于深度传感器自身性能的限制以及成像环境的复杂性,很难直接获取高质量、高分辨率的深度图像,需要后续的深度增强技术对获取的低质量、低分辨率深度图像进行恢复。本文从提升深度超分辨率算法的性能及实用性出发,提出了两个深度图像超分辨率框架。在对该领域的探索中发现,对低分辨率深度图像的重建面临诸多挑战。首先,由于低分辨率深度图像包含的信息有限,深度场景的边缘和细节通常很难精确地恢复。其次,深度场景的精细结构和微小目标在降采样过程中容易受到更加严重的破坏,这进一步阻碍了深度图像的精确恢复。本文针对深度图像细节丢失和边缘模糊等问题,提出了一个渐进式多路聚合网络,通过级联的多个分支聚合模块实现高质量的深度图像重建。具体而言,多分支聚合模块包含重建支路和指导支路:重建支路利用基于注意力的误差反馈机制,使得网络在低分辨率和高分辨率特征空间上关注及获取深度图像的高频(边缘、结构)特征。指导支路通过获取深度图像的多尺度空间信息和彩色图像的高分辨率结构信息来指导深度图像细节的重建。最后,通过适应性融合策略进一步选择并且挖掘不同分支中有效的信息提升深度图像重建的性能。在多个真实和合成数据集上验证了本课题所提出的渐进式多路聚合网络的有效性。现有的基于彩色信息指导的深度图像超分辨率方法存在很多局限性。首先,高度配准的彩色与深度图像在实际测试环境中很难获得,影响了模型的实用性。其次,对于高分辨率彩色图像的处理极大增加了内存消耗和计算负担,阻碍了模型的实时性。为了缓解上述问题,本文首次提出了一个基于跨任务场景结构知识迁移的单张深度图像超分辨率框架,在训练阶段构建了一个跨任务知识交互模块从彩色图像中蒸馏需要的结构信息辅助深度图像的恢复。同时提出了多空间知识蒸馏策略以及不确定度引导的结构正则化约束来实现双边知识迁移,提升深度超分辨率模型的性能。大量的实验结果表明,在实际部署时该框架具有轻量化,性能好,运行速度快等特点。
其他文献
目前,随着预印本数量的不断增长,预印本文献对科研领域以及各行各业都产生了巨大的影响。不同于传统的对已发表论文进行评价时的标准,即论文发表所在期刊的影响因子。这种评价标准对于评估预印本文献的影响力来说并不适用,因为预印本很多还没有被正式出版。因此,如何对预印本文献影响力进行评估就成为了迫切需要被解决的问题。基于上述需求,本文设计并实现了可以对预印本文献的影响力进行评估的系统。本系统的核心是确定预印本
社交媒体的快速发展,为持续监测数百万人的个人健康报告提供了前所未有的机会。健康监测能够对疾病研究起积极作用。传统的以调查为基础的监测方式资源有限,且具有一定的滞后性。微博上大量的自我健康报告数据能够作为传统监测方式所需的正式报告以外的很好的补充数据,辅助相关机构进行疾病研究,帮助发现季节性、地方性、流行性疾病。实现监测的关键一步是识别真正的症状报告微博内容。本文提出了一种针对微博中文短文本的症状提
近年来电子产品日益普及,为人们带来便利的同时,因为长时间不规范用眼而导致患有眼科疾病的人数也在逐年增加。如果不能对眼科疾病进行早期的诊断和治疗,就可能会导致患者最终失明。医疗辅助诊断系统通过对视网膜图像中血管和中心线的形态特征进行分析,能够快速有效的解决眼科疾病的诊断问题。因此获取精准的视网膜血管和中心线分割结果对眼科临床医疗的辅助诊断具有重要意义。近年来已经有大量的研究工作来解决视网膜血管和中心
在大数据中,数据的种类较多而价值密度和真实性较低。因此,低质性是大数据的显著特征。聚类是一类重要的数据分析方法,旨在划分数据空间内的对象,使划分结果类内相似而类间相异。随着数据规模、维度、模态的增加,传统聚类方法已不适应数据分析的需求,在低质数据上表现不如预期。因此,本文针对以上问题提出解决方案,研究两种面向低质数据的深度多模态特征聚类方法,有效提高聚类算法在低质高维多模态数据上的聚类效果。本文主
随着三维形状的广泛应用,形状匹配问题作为三维形状分析领域的一个基础研究问题也随之变成热点方向。该问题主要是寻找两个形状之间的点对应关系。目前关于刚性形状之间的匹配问题已经有相对成熟的算法。而由于非刚性形状的形变复杂性,现有的非刚性形状匹配算法仍存在许多问题。本文主要研究在形变时对应点之间仍保持内蕴距离的非刚性形状间的近似匹配问题。本文在一致性点漂移算法的基础上提出了一种多尺度非刚性形状匹配方法。该
目前农村小超市普遍存在商品采购量小、议价能力不强、资金短缺无法大规模的采购等问题,导致商品单价高、供应不及时等困境,制约着小超市的进一步发展。因此,如何利用有限的资金使小超市与农民构成供需之间的平衡成为亟待解决的问题。本系统依托于科技部重点研发计划-绿色宜居村镇技术创新项目(2019YFD1101104),以湖北十堰市供销社的合作小超市为研究背景,以客户为中心的营销模式为核心思想,从小超市实际需求
情感分析指对带有情感色彩的主观性文本进行识别并分析情感倾向的过程。互联网每时每刻都有大量在线评论产生,在线评论主要以单模态文本和静态多模态(文本和图片)的形式存在。对用户的在线评论进行情感分析,有利于商家制定营销策略,具有一定的商业价值。本文深入调查了情感分析的研究现状,利用深度学习的方法分别对单模态文本情感分析和静态多模态情感分析展开研究,内容如下:对于单模态文本情感分析,针对现有模型存在并行计
进入21世纪,互联网技术不断进步,多媒体逐渐成为人们获取信息的主要来源,其中视频因有着传输方便、生动直观、信息量大等一系列特点所以得到了大范围的应用。同时,随着国内各类视频监控的普及应用,视频监控开始普遍的应用于教育、公共安防等领域。然而如果想要在视频监控中找出想要的特定目标,仅仅通过人工浏览来进行查找,那一方面工作人员会因为长时间的眼部工作产生视觉疲劳,另一方面也极有可能会在观看视频时漏掉想要查
图像特征匹配在计算机视觉领域中有着十分重要的地位,直线特征具有丰富几何信息和结构信息,直线匹配更是图像拼接和三维重建等工作的基础。在宽基线视图上进行可靠的直线匹配是一个极具挑战性的任务。现在的主流直线匹配方法主要是通过纹理特征或者几何结构进行匹配,对端点的准确性和数量有一定的要求,需要直线的邻域有丰富的纹理信息和足够数量的特征点或者需要获取直线段之间的几何关系。另一方面,现有方法对宽基线图像下存在
随着人类社会对自然环境认识的不断加深,当代科学越加重视在社会发展的同时,同样重视自然环境的可持续发展,维护人类与自然的平衡关系。其中,野外树木与植被检测非常重要。密切分析树木与植被的动态变化,能够帮助人类更好的应对环境问题。随着激光雷达技术和深度学习算法的大力发展,人类开始尝试运用这些技术完成树木检测任务。但室外大场景三维点云固有的大体量数据以及树木具有十分复杂的尖锐特征的特性,给这项任务的创新发