论文部分内容阅读
随着我国房地产业的不断发展,VR看房、虚拟室内装修等应用被用于房地产业上,这些应用的关键在于如何去构建室内场景模型。在曼哈顿世界的假设下,室内场景往往符合“结构化场景”。这种场景存在大量受到几何约束的几何图元,这些几何约束关系如垂直、平行等,利用这些图元可以推理室内场景布局和三维模型。本文以面向视频序列的三维室内场景建模的关键技术为研究内容,尝试通过从室内场景图像中提取有效的几何图元去推理室内场景结构,并以三维建模的相关理论知识为基础来构建室内三维场景。本文介绍了一般的室内场景布局的估计方法,并重点分析了关键步骤的相关技术。接着介绍了卷积神经网络和多帧图像拼接技术的相关理论知识,为基于多帧图像的室内场景建模系统设计提供理论知识。本文的主要研究内容有:1、针对现有的基于卷积神经网络的线段检测算法中存在线段检测错误、检测不全等问题,本文提出了一种基于卷积神经网络的线段检测的改进算法。首先使用端点检测网络从图像中提取线段端点,然后,利用堆叠沙漏网络得到图像的直线热力图,本文提出了一种新的结合端点信息和直线热力图生成直线的方法,降低了误检测率。实验结果表明该算法有效地改进了基于卷积神经网络的线段检测算法中存在线段检测错误、检测不全等问题,提高了线段检测精度。2、本文提出了一种利用直角特征来推理室内场景布局的方法。首先,提取室内场景中的直线段,利用这些直线段估计出室内场景的三个消失点,接着对直线对进行所属墙面的分类,之后根据这些直线对形成直角。最后,在对这些直角形成的空间直角分类之后,通过一种误差函数来从所有直角之间选出最优角作为墙角,以形成室内场景布局。实验结果表明该算法可以成功地估计室内场景布局,正确的像素百分比高于之前的方法。3、本文整合了前面两章节的线段检测算法和室内场景布局估计方法,给出了一个面向视频序列的三维室内场景建模系统设计。通过结合图像拼接的方法,构建出三维室内模型。这种方法可以满足需要带有正交关系的结构化模型的应用,并可以自动纹理贴图。实验结果表明该方法可以有效从真实的室内场景中构建室内场景模型。