论文部分内容阅读
近些年来,随着三维建模软件以及深度传感器的广泛应用,在线三维模型的种类和数量出现了爆炸式的增长,如何有效地对这些三维模型进行分析、组织和管理成为了一个亟待解决的研究问题。目前,三维模型分析领域已经出现了很多研究分支,如语义分割、分类、模型检索、三维重建、模型修复等。其中,语义分割和分类分别是在部件级和类别级层次上对三维模型进行分析,而模型检索首先需要判别待检索的模型的类别,三维重建和模型修复则需要在模型部件的基础上进行研究,因此三维模型语义分割和分类是三维模型分析领域的基础研究,对其它三维模型分析领域的研究方向具有重要的指导作用。此外,三维模型语义分割和分类也是场景理解的高层次任务。因此,本文把三维模型语义分割和分类作为研究目标。随着深度学习的发展,语义分割和分类领域发生了翻天覆地的变化。虽然大多数深度学习框架在二维图像的语义分割和分类领域取得了非常好的效果,但是在三维模型的语义分割和分类领域却由于三维模型结构的复杂性而遇到了种种困难,效果并不理想。借助于深度学习框架在二维图像分析领域积累的优势,本文基于投影的方法,采有用多视角融合卷积神经网络的深度学习框架,间接地完成三维模型的语义分割和分类。本文的主要工作体现在以下三个方面:(1)基于视点熵的最佳视角选择方法,设计并实现了多视角融合卷积神经网络框架,能够完成三维模型语义分割任务。本文首次将基于视点熵的最佳视角选择方法引入三维模型语义分割领域,减少了视角间的信息冗余;同时设计了一种紧凑的数据结构用于存储模型面片与其在各视角投影后像素位置之间的映射关系,提升了像素标签反投到三维模型面片的效率;在卷积神经网络中,将多视角特征与单一视角特征进行融合,提升了视角问的信息协同作用。(2)基于多层全连接框架,设计并实现了多视角融合卷积神经网络框架,能够完成三维模型分类任务。本文首次将基于视点熵的最佳视角选择方法引入三维模型分类领域,使得选择的视角中蕴含更多视觉信息和类别特征,减少模型面片大小分布不均匀对最佳视角选择带来的影响;在网络下采样后采用两层全连接层对多视角特征进行融合,而不是再输入另一个神经网络中,提升了网络训练的效率。(3)基于投影的方法,将三维模型语义分割和三维模型分类统一于同一网络框架下进行处理。本文基于投影的方法,将三维模型语义分割和三维模型分类统一于一个框架之中,使得多视角融合卷积神经网络框架既能够应用于三维模型语义分割,又能够处理三维模型分类问题。通过在三维模型语义分割标准数据集和三维模型分类标准数据集上的一系列实验,验证了该框架中基于视点熵的最佳视角选择方法的有效性、以及在卷积神经网络中进行多视角融合的必要性,说明了本文设计的多视角融合卷积神经网络框架能够很好地处理三维模型语义分割和分类,达到了研究目标。