基于注意力融合机制的多视图三维物体重建算法研究与实现

来源 :宁夏大学 | 被引量 : 0次 | 上传用户:ii688
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多视图三维物体重建一直是计算机视觉的研究热点和难点之一,特别在机器人视觉导航、无人驾驶汽车等领域中有着大量的实际使用场合。最近基于深度学习的多视图三维物体重建方法取得了可喜的成果。基于学习的三维重建方法中,如何让深度网络学习到物体结构信息及三维深度信息是三维物体重建的关键。然而,已有的多视图方法更多关注深度图的准确度、而缺乏对深度图完整度的表达。因此重建出的三维点云较稀疏,尤其对于大型室外场景的恢复仅局限于核心区域,目前对于大规模场景的恢复仍然是一个具有挑战性的问题。因此本文从多视图三维重建结果完整性信息缺失的问题出发,旨在重建出完整度更高且具有丰富细节的高分辨率三维物体或者场景,通过本文提出的注意力融合机制有效提升深度图完整性的质量。本文的主要工作内容如下:1.在基于学习的多视图三维物体重建网络中,大多数网路在三维代价体回归阶段使用U型网络结构。然而U型网络架构自身的局限性不利于三维深度信息的完整保留。为了解决这种局限性,本文提出了一种分层解耦互补网络,实现了语义特征和空间信息的互补。具体来说,特征融合模块融合了不同尺度的特征;空间注意力模块有利于充分提取高层空间语义特征信息;交叉聚合模块通过聚合不同分辨率的尺度特征,充分保留图像中的高低频过渡信息。2.虽然基于学习的重建方法表现得相当好,但是卷积神经网路的局部特征提取能力限制了最终深度图完整度的表达。这个过程需要丰富的特征信息和深度信息以达到期望的完整度,因此,很难进行高分辨率的三维场景重建。本文设计了一种基于自注意力的融合网络,实现高完整度的深度图。本融合方法可以首先通过对所提取到的二维图像特征进行自注意力学习,从而捕获二维图像推理中的相互依赖关联,最大限度地保留重要的全局信息。同时在三维代价体回归阶段,为了得到更丰富的三维深度信息,本文采用自注意力融合的方式实现不同深度特征代价体特征的互补学习。另外,本文引入残差连接能有效防止网络退化。3.设计并实现多视图三维物体重建系统,对本文的方法模型进行了展示,使得普通用户能够登录此可视化系统进行多视图三维物体重建。
其他文献
个人、国家和民族都需要有自己的精神依托,对于一个国家和民族来说,中国精神对于引领国家发展、促进民族团结以及抵御风险挑战等方面起着至关重要的作用。以习近平新时代中国特色社会主义思想为指导,中国人民在抗击新冠肺炎疫情中表现出“生命至上、举国同心、舍生忘死、尊重科学、命运与共”的伟大抗疫精神,彰显了中国特色社会主义制度的最大优势,也是我们党团结带领全国各族人民取得的疫情防控重大战略成果的力量源泉。抗疫精
学位
在党的十八届五中全会上,习近平总书记提出了绿色发展新理念,随后的全国人民代表大会和中国人民政治协商会议中,也提到了绿色发展。高中生作为祖国建设未来的接班人,加强对高中生绿色发展观的养成教育,不仅符合时代发展需求,符合思想政治课课程建设要求,同时也是促进学生成为适应社会发展的人的有效途径。思想政治课作为对学生展开思想政治教育的主场所,在课堂中融入绿色发展观,不仅能塑造学生正确的情感态度,强化其绿色发
学位
唐卡文物是中华民族的瑰宝,是一种蕴含着浓郁的民族、地域特色的绘画艺术形式。唐卡图像的综合研究中的标志物的确立、图像风格识别、断代研究等都会涉及到唐卡图像的特征提取、相似性检索等图像检索技术,因此唐卡图像检索研究显得尤为重要。通过研究发现基于深度学习的唐卡图像检索应用研究还不多,唐卡图像数据集的扩充、检索的精确性、高效性还有进一步提升的空间。唐卡图像内容丰富、纹理复杂、色彩表现层次多、年代久远、背景
学位
恩格斯美好生活思想立足于现实生活实际,批判了杜林非科学社会主义理论,揭露了资本主义制度下人民生活窘境,致力于实现人真正的自由和全面解放发展,探索满足人们对美好生活追求的实现途径。资产阶级在物质与政治两方面压迫无产阶级,在经济层面,资本主义经济的发展导致雇佣劳动制度盛行,雇佣劳动严重影响了无产阶级及资产阶级自身的全面发展;在政治层面,以杜林为代表的德国机会主义更是趁机攻击无产阶级马克思主义领导思想,
学位
理论灌输是人类社会中思想、文化、行为得以延续、人类文明得以传播的重要手段,是具有深远意义与作用的普遍性教育活动。在马克思主义理论视阈下,灌输理论是继承与发展马克思主义的重要方式,也是思想政治教育的基本理论。灌输理论最初由德萨米提出,经马克思恩格斯在众多文献中说明“灌输”的必要性与主要概念,考茨基给予“灌输”积极的肯定,最后由列宁在《怎么办?》当中对灌输理论的主要内容、灌输主体、灌输客体、灌输方式、
学位
文化自信,是更基础、更广泛、更深厚的自信,是更基本、更深沉、更持久的力量。坚定文化自信,是事关国运兴衰、事关文化安全、事关民族精神独立性的大问题。树立坚定的文化自信,离不开富有成效的文化自信教育实践活动。深入研究文化自信教育的基本理论问题,对全面落实立德树人根本任务、增强受教育者对中国特色社会主义文化的理解与认同、提升文化自信教育的针对性与实效性具有重要的理论意义与学术价值。相较于以往研究,本文通
学位
钢管石膏柱具有施工方便,质轻、耐火性好、凝结硬化快的优点,能够在抢险救灾中发挥应急作用。由于受材料科学研究与发展的限制,目前国内外对钢管石膏柱的研究十分少见,并且工程应用实例也不多见。因此本文试图从试验与数值模拟相结合的角度,帮助认识钢管石膏柱的静力轴压及滞回性能。首先为探明钢管石膏柱在常温下的轴压力学性能,以含钢率、水膏比及长细比为变化因素,采用L34正交试验方案表进行钢管石膏柱的轴压试验,研究
学位
集体主义以集体为本位,是社会主义的核心价值理念,是社会主义道德的基本原则。涵盖了人与人、与社会、与自然的多重关系。原则正确,意义显著,坚守才成为可能。正确的集体主义价值观为个人发展指明了正确的伦理取向、为社会团结提供了正确的价值旨归、为构建人类命运共同体提供了价值根基。集体主义在抗击疫情斗争中彰显出不可替代的优势,成为我国战胜疫情的一剂良药。诸多触动人心的抗疫事迹蕴含着抗疫精神,是对集体主义的直观
学位
本文基于2017年最新的中国金融调查数据(CHFS),从家庭负债结构的视角实证分析了不同类别的负债对家庭居民主观幸福感的影响。详细探讨了不同类别的负债对于不同收入水平的居民幸福感的异质性影响,验证了"穷人无债胜王子"的道理在国内是否存在。研究结论显示:第一,家庭负债与幸福感之间存在显著的负相关关系;第二,各种家庭负债类型都会对幸福感造成负向影响,其中金融性资产负债与医疗负债对幸福感的负向影响最大,
期刊
深度学习技术在目标检测领域已经取得了非常好的效果.然而现有的小目标检测算法无法完全满足所有的实际应用需求,本文针对小目标检测中的检测速度与检测精度的应用需求,对基于SSD的小目标检测算法进行了研究。在基于SSD的小目标检测算法研究中,针对所需检测的小目标在图片中占比非常小,小目标的特征信息难以提取,小目标的细节信息不充分等问题,提出了基于SSD优化的小目标检测算法,主要研究内容包括以下几个方面:(
学位