【摘 要】
：
三维重建是通过计算单个或多个相机采集的二维图像间的关系,来恢复潜在的三维模型的技术。作为计算机视觉的重要问题之一,三维重建已广泛应用于增强现实、摄影测绘、自动驾驶等领域。然而,由于输入图像中往往具有场景变化大、可用信息少等特点,三维重建过程中容易出现特征点定位误差大、相机姿态不正确、模型存在空洞等问题。针对上述问题,本文通过研究特征点提取、视图重建等方法,设计并实现了一种基于深度学习的三维重建系统
论文部分内容阅读
三维重建是通过计算单个或多个相机采集的二维图像间的关系,来恢复潜在的三维模型的技术。作为计算机视觉的重要问题之一,三维重建已广泛应用于增强现实、摄影测绘、自动驾驶等领域。然而,由于输入图像中往往具有场景变化大、可用信息少等特点,三维重建过程中容易出现特征点定位误差大、相机姿态不正确、模型存在空洞等问题。针对上述问题,本文通过研究特征点提取、视图重建等方法,设计并实现了一种基于深度学习的三维重建系统。主要研究内容如下:1.针对Super Point特征点提取网络存在特征点定位误差大、特征描述子语义信息不足的问题,改进了原网络并提出了一种亚像素级语义特征点检测网络（SFPD）。通过自上到下逐层还原特征位置信息并横向连接对应层的尺度特征,提高检测器的定位精度;再使用soft argmax将特征点定位精度从像素级提升至亚像素级。同时,通过融合不同尺度的语义特征,增强特征描述子的语义信息表达。在HPatches数据集上的评估结果表明,SFPD相较于Super Point在特征检测及匹配性能上均有所提升。2.针对现有视图重建方法对平面变化、纯旋转等歧义连接关系的识别能力弱而导致相机姿态易出错的问题,提出了一种基于GCRANSAC及最大生成树的视图重建方法。该方法采用二维匹配筛选和三维场景约束结合的验证式策略。首先使用GCRANSAC方法从匹配结果中估计单应变化和对极变化,判断当前匹配偏向于平面变化或立体变化,并对明显的平面变化场景进行剔除;然后根据筛选后的匹配关系构造最大生成树作为初始视图,并根据树中的连接关系注册并验证相机姿态,最后根据正确的相机姿态验证已有的连接并更新视图。在多个数据集上验证了本文方法能准确恢复原始的相机姿态。3.针对现有三维重建系统容易缺失模型细节的问题,设计了一种基于深度学习的多视图三维重建系统。该系统包含运动恢复结构、多视图立体、表面重建及纹理映射四个模块。在运动恢复结构模块中,首先使用SFPD网络从图像中提取特征点,再采用基于GCRANSAC和最大生成树的视图重建方法验证式注册相机,随后使用分层BA和重三角化策略减少重建过程中的误差。在其余三个模块中,为了获取更多的几何信息,引入基于深度图的多视图立体方法将点云稠密化;使用Delaunay表面重建方案实现网格三角化;通过纹理映射方法补充纹理信息。在公开数据集上进行实验,实验结果证明了本系统有效可用。
其他文献
高光谱成像通过将成像探测技术与光谱探测技术有效结合,利用几十甚至上百个近似连续光谱波段对同一探测区域进行成像,从而获得包含多种空-谱信息的三维高光谱数据。高光谱异常检测由于无需目标先验光谱知识便可检测到与背景有较大差异的异常目标,在环境、农业、水文、军事等多个领域有着广泛的应用,已经成为高光谱图像处理中的一个重要方向。本文针对当前部分异常检测算法对于高光谱图像多种特征利用不足的问题,从有效挖掘异常
光学稀疏孔径望远镜是下一代深空探测的主要手段。光学稀疏孔径利用分立的子孔径,通过光束合成等效达到大孔径系统的分辨率效果,克服了单孔径系统存在的大尺寸镜面加工难度大、自身重量增加带来的曲率变化等限制因素,还具有可变换孔径排布、灵活变换基线等优点。稀疏系统要求子孔径共相,但是光束合成误差的存在会阻碍这一要求。本文针对子孔径间活塞误差和倾斜误差对光束合成的影响,进行理论和实验研究。对不同填充因子和子孔径
随着低慢小航空器在航拍摄影、交通运输、军事侦察等领域得到广泛应用,处于非监管状态下的低慢小航空器威胁公共安全的事件也时有发生,因此,能够用于该目标的预警手段及设备得到了更大范围的关注与发展。在可见光成像领域,常用长焦成像系统拍摄远处目标,但传统的长焦成像系统由于受到制造以及成本所限,大多采用定焦模式,因此其成像视场比较受限,难以在大范围针对目标进行快速检测识别,从而达到理想的预警效果。针对以上问题
周视激光引信探测精度高、体积小,抗电磁干扰能力强,近年来在防空导弹中应用逐渐广泛。对激光引信的实际数据采集成本高、周期长,因此实验数据不足。为了提高激光引信探测精度,增添回波信号数据,可对激光引信回波信号数字化仿真,研究影响发射脉冲激光、目标表面特性、探测距离等参数对回波信号的影响,进一步提高激光引信的抗干扰能力,提高导弹整体的杀伤能力。本文主要研究周视激光脉冲引信与预制破片战斗部的引战配合,对弹
总剂量辐照效应会对核辐射环境中的电子器件造成损伤,对数字器件进行计算机仿真模拟可以为器件的抗辐照加固提供理论支持。为了对数字器件的总剂量辐照效应进行仿真,首先需要获取数字器件的仿真模型。现今对数字器件进行总剂量效应建模的方法主要有两种,分别是物理建模方法和行为级建模方法。物理建模方法仿真精确度高,但是计算成本大,可扩展性弱。行为级模型使用简单,仿真效率高,可扩展性强,适用于数字器件的总剂量效应建模
遥感已被广泛地应用于土地覆盖分类、环境监测、军事防御等领域中。单一传感器信息既有一定的局限性,又存在着极具潜力的互补性。融合算法可以实现多源遥感图像的互补信息提取,但是,会遭遇目标信息不显著和噪声鲁棒性低等问题。本文以解决融合算法的稳定性问题、提高融合图像的质量为目标,深入研究基于GramSchmidt变换和全变分方法的像素级、特征级融合技术。本文主要完成工作如下:首先,针对传统像素级图像融合方法
空战形态由过去的机械化向信息化、智能化转型。快速准确地预测出对方战斗机的飞行轨迹可使本方在近距对抗中占据有利的态势。然而战斗机状态的多样化、空战态势的不确定性以及空战的高动态性等导致飞行轨迹预测算法存在预测精度低、预测实时性低等问题。这些预测方法通常仅根据单个战斗机的历史轨迹进行预测,忽略了在作战过程中各个战斗机之间的相互制约、相互限制的关键信息,导致预测结果与实际轨迹相差较大。因此为充分考虑战斗
智慧安防是智慧城市的重要领域之一,在安防监控、无人零售等方面发挥着关键作用。随着高清摄像头的普及,视频监控系统已经成为智慧安防领域的核心组成部分。然而监控图像易受雨、雾、霾、沙尘等恶劣天气的影响,导致清晰度下降、颜色失真等问题,严重降低车牌识别、人员检测等的准确度。现有针对恶劣天气下监控图像清晰化的研究主要面向雨、雾、霾等场景,由于沙尘天气中悬浮沙粒对光具有吸收、散射作用,引起偏色严重、锐度下降等
随着深度学习技术在计算机视觉和自然语言处理领域的广泛应用,越来越多的学者将目光聚集到二者的交叉领域上来,图像描述、视觉搜索等基于二维数据的相关任务都取得了令人瞩目的发展。近些年来,三维传感技术的进步推动了三维视觉的革命性发展,对点云形式的三维室内场景数据的研究也逐渐成为当前的研究热点。目前,已经有相关工作致力于链接三维视觉和自然语言处理两个领域,相关数据集和优秀工作的提出,为在三维环境下的跨领域、
遥感图像分类是遥感图像处理的重要组成部分,已经在城市制图、精准农业、森林变化检测、环境保护和军事侦察等多个领域进行广泛地运用,具有重要的研究意义。近年来,集成学习算法成为遥感图像分类领域的热门研究方向。与单分类器相比,集成学习不仅可以利用多个基分类器之间的差异性,提高模型的泛化性能,而且能够使各个基分类器的信息进行互补,从而显著提升分类系统的准确性和鲁棒性。本文以集成学习为核心技术,开展遥感图像分