基于单视图三维重建研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:jxwdi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
自深度学习网络作为工具诞生以来,许多难以处理的图像以及图形学问题有了新的突破口。且在识别、分割等领域,基于深度学习的方法已经能在工业界成熟运用。单视图三维重建问题也因此得到的新的发展,然而即使与传统方法相比,深度学习已经带来了很大的提升,但是单视图三维重建问题依然有着极大的研究空间。本文以单视图三维重建为研究课题,着重分析了单视图三维重建问题目前存在的主要问题,提出了可行的改进方案,加以实验并验证。主要成果可且分为三个部分:符号距离场的预测、相机位姿估计、模型转化及后处理。符号距离场的预测网络受DISN的启发提出,为提高三维重建的精度、解决模型分辨率受限等问题,本文放弃了体素和点云等容易处理显式表达方式,采用了三维模型隐式的符号距离场(SDF)表达,将三维重建问题转换为符号距离场函数的预测问题。模型不仅提取图片的全局特征,同时将三维点按相机内参进行投影到2D图像上进行局部特征的提取。并且,针对DISN中局部特征提取过于局限的问题提出了ReSampler模块进行改进。最后,将全局特征、局部特征与空间点编码结合后,最终的重建结果的预测精度得到了一定程度的提高。可视化方面,在较薄的面和孔洞等细节方面模型表现出了更好的竞争力。在损失函数方面,模型使用符号距离函数的GroundTruth与预测值代替倒角距离(CD)、铲土距离(EMD)。相比于CD与EMD作为训练损失只能近似衡量模型的相似性,SDF能准确衡量模型的相似程度。详解位姿估计网络的作用是从给定的图像中估计拍摄的视角,网络扩展了符号距离场预测网络的应用场景。尽管互联网存在的大量物体图片,但其中具有相机位姿标记的数目微乎其微。为给符号距离场预测网络的局部特征提取提供相机位姿信息,本文提出了一个简易的基于单张图片的相机预测网络。网络主干采用VGG网络,训练数据来自ShapeNet Core数据集。我们将ShapeNet Core数据集的初始位姿作为基准位姿,在此基础上进行旋转变换作为训练数据。相机内参的预测使用更为连续的6D旋转表达,而不是传统的四元数或欧拉角,以加快网络的收敛和提高回归的准确率。后处理的主要作用是处理符号距离场预测错误导致的杂散的离群的物体。文中提供了两种处理方式可供选择:基于体素的神经网络的处理方式,采用普遍的编码器-解码器结构设计,以预测重建后的体素模型作为训练样本,真实模型作为GroundTruth进行训练。网络解决了离群物体,同时平整了模型表面并强化细节。但由于模型在体素下进行,受体素表达方式的影响,分辨率会被限制。另一种算法基于广度优先搜索的方法设计,利用模型点与点之间的关联将空间中不同的物体分割并对重建错误进行去除,这种方法可以处理网格或体素数据。上述两种方法都没有基于点云的处理方案,点云数据的获取可以通过处理后的网格数据转换得到。
其他文献
蝴蝶兰是著名的观赏兰科植物,随着我国对外交流的扩大,园艺植物进出口日益频繁。目前对蝴蝶兰的研究主要在组织快繁体系建立、灭菌方法、降低褐化、对胁迫环境适应能力等,但是很少关于蝴蝶兰活力状态与其可组培性关系的研究。蝴蝶兰作为珍贵的园艺种源,一方面防止种源流失,同时也为境外种源的利用,需要掌握什么样的蝴蝶兰植株具有生长繁殖潜力,可进行组织培养。因此,建立蝴蝶兰植株活力快速检测方法有应用价值。筛选出更合适
复杂地质条件对隧道施工的影响巨大,隧道施工期间必须要根据地质条件的变化来确定适合的施工开挖方法以及配套的辅助技术措施,特别是在支护、监测、衬砌等方面,要特别重视,当
对影响大花蕙兰开花的5个主要因素———光照、温度、浇水、施肥和留芽模式进行了研究,结果表明:5月至10月中旬用50%遮阳网遮光,有利于大花蕙兰的生长发育,可促进花芽的形成;7
当前我国社会的发展已经从传统的生产型社会开始向消费型社会过渡,随着人们消费需求和行为的改变,传统的商业空间不再仅仅满足大众的物质性需求,而是更加注重文化和情感体验,商业建筑的改造应运而生。而幕墙系统在过去不断的发展中,早已成为一门技术成熟的学科,由于其自身特性及在商业建筑改造中的优势,越来越受到重视。因此本文以基于幕墙系统进行的商业建筑改造作为研究对象,分析和总结具体改造中的设计要点,为大趋势发展
从血浆脂质的改变及红细胞膜蛋白非酶性糖化两方面,对糖尿病患者红细胞膜流动性的影响作了观察。结果表明糖尿病患者的红细胞膜流动性明显低于同龄健康人,但血浆脂质成分两组间
目的:为探究中药昆虫九香虫的有效成分,通过九香虫的小分子化合物分离纯化及其对锰损伤后TM4细胞的干预作用研究,进一步验证PI3K/c-Src/FAK信号通路在支持细胞损伤中的作用。方法:1.采用传统中药提取、高效液相色谱、硅胶柱色谱等分离方法对九香虫小分子化合物进行分离纯化。2.采用MTS法检测氯化锰溶液对细胞损伤的IC50和九香虫小分子化合物对细胞是否有毒性作用,以及九香虫小分子化合物干预锰致T
在城镇再生水解决农业用水缺少的同时,伴随产生的由于再生水灌溉引起农作物中重金属的食品安全问题值得重视。经过2a再生水灌溉冬小麦中重金属含量的研究,结果表明,再生水水质较
HBV血清学标志物的检测对于HBV感染的诊断、疗效观察及预后判断均十分重要。目前,HBV各种血清学标志的检测已广泛应用于临床,但随着近年来检测技术的不断进步,特别是PCR技术的发
近年来,头孢氨噻肟钠和环丙沙星作为强效广谱抗菌素已普遍应用于临床,我们将二者伍用治疗淋病43例,获得满意疗效。现报道如下。
天然除虫菊素是国际公认的最安全的无公害杀虫剂。为此,笔者于2003年开始研究开发了纯天然除虫菊素水基杀虫喷雾剂。所用原药系昆明中植生物科技开发公司和玉溪亚临界植物化工