基于块匹配和深度学习的多视图立体视觉方法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:huili1012
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多视图立体视觉作为计算机视觉领域的重要研究课题,旨在从一系列已知相机参数的图像中恢复场景的稠密点云表征。由于其在三维打印、智慧城市、自动驾驶、文物保护和虚拟现实等领域的广泛应用,一直是研究领域的热点问题。然而,由于实际应用场景中数据规模巨大、弱纹理区域、遮挡部分、反射表面和重复模式等因素造成的影响,高效地重建出准确完整的稠密三维模型仍然是一个极具挑战性的问题。论文从不同层次线索出发,探索浅层图像线索、几何结构线索和深度特征线索对多视图立体视觉的作用,研究基于块匹配(Patch Match)的方法和深度学习的方法来解决多视图立体视觉问题。论文主要研究内容如下:首先,在浅层图像线索层面,针对多视图立体视觉难以同时兼顾效率和准确性的问题,提出了基于自适应棋盘网格采样和多假设联合视图选择的多视图立体视觉方法。其利用区域信息采样合理的候选假设进行传播,并设计启发式和概率式两种策略来推断每个像素的聚合视图子集。对于弱纹理区域的深度估计,论文进一步提出了多尺度几何一致性引导的多视图立体视觉方法。该方法利用多尺度几何一致性在粗糙尺度上获得对弱纹理区域的可靠深度估计,并保证其能被传播到精细尺度。为了纠正从粗糙尺度传播来的错误估计,论文设计了一种新颖的细节校正器。这样,该方法在获得良好效率的同时,不仅能够恢复弱纹理区域的深度信息,还能获得细节结构的较好估计。其次,在几何结构线索层面,针对多视图立体视觉仅依赖光度一致性优化在弱纹理区域造成的歧义性问题,提出了平面先验辅助的多视图立体视觉方法。弱纹理区域往往呈现很强的分段平面结构属性,平面模型有利于弱纹理区域的深度估计。另一方面,基于块匹配的多视图立体视觉方法由于其采用的采样传播策略,有着非常高效的性能。通过结合两者的优点,论文提出了平面先验辅助的块匹配多视图立体视觉框架。通过利用概率图模型将平面模型嵌入到块匹配多视图立体视觉方法中,并推导出一种新颖的多视图匹配代价。该匹配代价同时考虑光度一致性和平面兼容性,在非平面区域和平面区域的深度估计都能获得较好的结果。此外,将平面先验辅助与多尺度几何一致性相结合,可以进一步提升对歧义性区域可辨识信息的感知能力,获得更加准确完整的三维模型。再次,在深度特征线索层面,针对现有的基于深度学习的多视图立体视觉方法难以应用到实际的宽基线场景中的问题,提出了基于逆向深度回归和逐像素可视性感知的多视图立体视觉网络。其设计了一个逐像素可视性估计网络来学习不同邻域图像的可视性信息,用以构建自适应加权的多视图聚合代价体。为了适应大规模场景的深度推断,该方法将多视图深度推断处理为逆向深度回归问题。这使得所提出的方法能细致地考虑几何约束,并取得亚像素估计结果。此外,为了获得可扩展的高分辨率估计,该方法采用组相关来构建轻量级代价体,并设计基于序数的不确定性估计来渐进优化高分辨率深度图。这样,该方法可以泛化到不同的场景重建中,并且取得令人满意的效果。最后,在深度特征线索层面,针对现有的基于深度学习的多视图立体视觉方法在深度维度上对全局上下文信息感知不足的问题,提出了面向多视图立体视觉的非局部递归正则化学习。该方法通过在深度维度上滑动深度块,设计了一个深度注意力模块来提取非邻接深度值的非局部交互信息,并进一步采用门控递归的方式来建模不同深度块所传达的全局上下文信息。这样,该方法可以捕获沿着深度方向上的长距依赖,并用其来促进代价图的正则化,提升深度图的估计结果。此外,该方法还设计了动态深度图融合策略来自适应地关联深度概率和深度一致性,以此提升算法在不同场景点云重建的鲁棒性。这样,该方法在室内物体重建和大规模场景重建的任务中都取得了领先水平的性能。论文针对多视图立体视觉在实际应用中存在的问题,由浅到深地探索不同层次线索对多视图立体视觉的效用,取得了优越的重建性能。研究成果不仅在理论层面具有启发意义,在实际场景中也具有重要的应用前景。
其他文献
第一部分脑出血患者微创术后预后预测模型的建立目的:自发性脑出血是一种严重的脑血管疾病,具有高死亡率和高致残率。微创手术可以降低脑出血患者一月内死亡率,有可能改善脑出血患者的远期预后,已广泛应用于脑出血的治疗。然而,尽管目前微创血肿清除术应用相对成熟,但预测临床结局的模型尚未明确,开发一个高性能的适于术前预测脑出血患者微创(minimally invasive surgery,MIS)术后预后的预测
学位
从我国刑法立法的发展变化看,“多次”相关立法规定在近年来的修订中呈扩张趋势。这一现象并非偶然,而是社会转型期中刑法立法对社会发展需求的现实回应,是我国刑事政策不断演进以及刑法的社会治理功能调整的微观体现。综观当前学界对“多次”相关立法的理论研究,主要是围绕“多次”立法中的一种或者数种类型展开的理论探究,对于“多次”这一立法现象缺乏系统性反思。“多次”立法某一子系统的研究并不能准确识得我国刑法中“多
学位
互联网金融的本质仍然是金融,而金融行业本身具有外部性、金融脆弱性、信息不对称等特点,因此需要政府的适度干预,以弥补金融运行中出现的市场失灵,确保金融体系运行的稳定性,进而降低金融风险爆发的可能性。目前关于互联网金融监管的文章非常多,涉及到法学、经济学、金融学等各学科。从法学角度来看,已有的文献多集中于互联网金融存在的各种风险如信用风险、非法集资风险等、国外监管制度介绍、国内监管所存在的问题及完善对
学位
背景随着对大脑研究的逐渐深入,神经病学结合影像学的方法在研究动物和人类大脑疾病上的探索也逐步发展并趋于热点。磁共振分析技术对大脑灰质、白质结构的研究不仅提供了客观的活体无创性方法,而且提供了从不同角度来认识各类神经系统疾病的机会,以及通过这些技术获得的丰富的影像学数据再结合数学和统计学知识,让研究者进一步了解到大脑结构与疾病相关的信息。因此,充分利用和挖掘神经影像学所产生的信息,对于研究者认识神经
学位
医学图像分类是计算机辅助诊断和模式识别领域的研究热点,自动实现图像中人体解剖结构和病变区域的精确分类,对缓解医师压力,提高医师诊断效率,降低误诊和漏诊率具有重要价值。深度学习方法是医学图像分类的主流方法,其有效性与医学图像数据数量和质量息息相关。然而,对多数疾病分类诊断问题而言,受数据采集成本、医师临床经验水平和标注习惯差异等因素影响,通常只能得到带标签的小样本医学图像数据,这影响了深度学习方法的
学位
国家重点生态功能区的设立旨在保护国家生态安全的战略性地区,通过中央转移支付激励当地政府维护生态环境。截至2019年中央财政下达国家重点生态功能区转移支付资金5242亿元,如此大规模的生态转移支付项目实施效果如何,到目前为止,仍然缺乏全面有效的评估。本文首次从环境、经济和民生三个视角切入,分析了国家重点生态功能区的政策效应。本文的研究内容与研究结论如下。其一,研究了国家重点生态功能区政策的环境效应。
学位
胎儿宫内的正常生长发育对新生儿及其后期的健康有着重要影响。近年来越来越多研究使用孕期超声检查数据评估胎儿生长发育情况,并探索影响胎儿生长发育的环境因素。空气污染作为普遍存在的环境污染物,与公众健康高度相关。许多基于孕期超声检查数据的研究报道了怀孕期间环境空气污染物浓度增加与胎儿生长发育不佳之间的关联。然而,仅使用单一时点或者特定时点的超声测量指标,导致空气污染物暴露影响胎儿生长发育的关键暴露期还不
学位
<正>马来西亚投资发展局(Malaysian Investment Development Authority)表示,马来西亚政府将根据国家发电计划,分别于2025年和2035年将装机容量中可再生能源的比例提高到31%和40%。最近,东盟不断承诺要提高能源安全和能源恢复能力,并利用可再生能源建立低排放电力部门。考虑到资源储量和地理位置等因素,马来西亚的大部分清洁能源将由太阳能提供,同时该国也越来越
期刊
周围神经损伤是由创伤、肿瘤切除或重建手术引起的相对常见的医学问题。由于神经系统的复杂性,恢复损伤神经的功能或修复神经退行性疾病引起的损伤仍然是生物医学领域的一大挑战。目前,神经缝合被认为是治疗小于1 cm的神经间隙的临床金标准,超过1 cm的神经损伤常用的治疗方法是自体神经移植。然而,神经移植的供体取材的困难、供体部位的发病率、可能的神经瘤形成和免疫反应是限制自体神经移植作为一种治疗方法的关键问题
学位
第一部分宫颈癌单细胞免疫图谱研究目的:探究不同病理类型宫颈癌肿瘤免疫微环境差异,寻找潜在的免疫治疗靶点。方法:本研究共纳入宫颈鳞癌78例与宫颈腺癌31例,癌旁组织7例,健康人外周血9例,新鲜肿瘤和癌旁组织样本制备成单细胞悬液与外周血PBMC共同进行质谱流式T-panel和M-panel染色,通过无监督聚类等多种方式,描述肿瘤免疫微环境中不同免疫细胞的表型,比较不同病理类型宫颈癌中不同免疫细胞亚群的
学位