基于多视角融合卷积神经网络的三维模型分析方法研究

来源 :南京大学 | 被引量 : 0次 | 上传用户:jiangchao1989
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年来,随着三维建模软件以及深度传感器的广泛应用,在线三维模型的种类和数量出现了爆炸式的增长,如何有效地对这些三维模型进行分析、组织和管理成为了一个亟待解决的研究问题。目前,三维模型分析领域已经出现了很多研究分支,如语义分割、分类、模型检索、三维重建、模型修复等。其中,语义分割和分类分别是在部件级和类别级层次上对三维模型进行分析,而模型检索首先需要判别待检索的模型的类别,三维重建和模型修复则需要在模型部件的基础上进行研究,因此三维模型语义分割和分类是三维模型分析领域的基础研究,对其它三维模型分析领域的研究方向具有重要的指导作用。此外,三维模型语义分割和分类也是场景理解的高层次任务。因此,本文把三维模型语义分割和分类作为研究目标。随着深度学习的发展,语义分割和分类领域发生了翻天覆地的变化。虽然大多数深度学习框架在二维图像的语义分割和分类领域取得了非常好的效果,但是在三维模型的语义分割和分类领域却由于三维模型结构的复杂性而遇到了种种困难,效果并不理想。借助于深度学习框架在二维图像分析领域积累的优势,本文基于投影的方法,采有用多视角融合卷积神经网络的深度学习框架,间接地完成三维模型的语义分割和分类。本文的主要工作体现在以下三个方面:(1)基于视点熵的最佳视角选择方法,设计并实现了多视角融合卷积神经网络框架,能够完成三维模型语义分割任务。本文首次将基于视点熵的最佳视角选择方法引入三维模型语义分割领域,减少了视角间的信息冗余;同时设计了一种紧凑的数据结构用于存储模型面片与其在各视角投影后像素位置之间的映射关系,提升了像素标签反投到三维模型面片的效率;在卷积神经网络中,将多视角特征与单一视角特征进行融合,提升了视角问的信息协同作用。(2)基于多层全连接框架,设计并实现了多视角融合卷积神经网络框架,能够完成三维模型分类任务。本文首次将基于视点熵的最佳视角选择方法引入三维模型分类领域,使得选择的视角中蕴含更多视觉信息和类别特征,减少模型面片大小分布不均匀对最佳视角选择带来的影响;在网络下采样后采用两层全连接层对多视角特征进行融合,而不是再输入另一个神经网络中,提升了网络训练的效率。(3)基于投影的方法,将三维模型语义分割和三维模型分类统一于同一网络框架下进行处理。本文基于投影的方法,将三维模型语义分割和三维模型分类统一于一个框架之中,使得多视角融合卷积神经网络框架既能够应用于三维模型语义分割,又能够处理三维模型分类问题。通过在三维模型语义分割标准数据集和三维模型分类标准数据集上的一系列实验,验证了该框架中基于视点熵的最佳视角选择方法的有效性、以及在卷积神经网络中进行多视角融合的必要性,说明了本文设计的多视角融合卷积神经网络框架能够很好地处理三维模型语义分割和分类,达到了研究目标。
其他文献
近年来随着人工智能的兴起,基于神经网络等人工智能算法的建模方式在理论和解释性上都已经得到了很大的发展,并且已经通过神经网络解决了一些实际应用中的问题,如:在计算机视
在医学领域,计算机X射线断层(Computed Tomography,CT)、磁共振(Magnetic Resonance Imaging,MRI)和超声等医学图像在疾病的诊断和治疗中占据重要地位,准确地对医学图像进行
振动压路机是路面铺设和维护的关键设备之一,其工作原理是利用自激振动压实路基。因此,振动压路机的一级减振系统较多采用传统橡胶减振器最大限度地限制自激振动向上车的传递
口腔锥形束 CT(cone beam computed tomography,CBCT)具有成像清晰、辐射剂量低的特点,在牙科疾病和牙齿问题的研究中已成为必不可少的影像学技术。在计算机辅助分析中,对口
软体机械臂以其自由度多,运动灵活,环境相容性好,适合于人机交互作业的优势受到了越来越多研究者的关注。但与刚性机械臂相比,软体机械臂的负载能力低,难于胜任钻孔、装配等
随着智能制造业的不断发展,自动化的生产线需要更高的效率和安全,对作为主要执行机构的工业机器人高精度控制提出了更高的要求。传统的基于运动学的位置控制通过运动控制器给
栓钉连接件主要使用在组合结构湿接缝处,而湿接缝在组合梁桥整体的受力过程中有着极其重要的作用。我国疆域面积广阔,地域差异较大,在我国局部地区冬季昼夜温差较大,且冬季持
学习理论对机器学习的发展有着重要的指导与支撑作用,可学习性(又称PAC可学习性)是机器学习理论研究中的一个基本问题,探讨学习问题是否存在多项式时间开销和样本复杂度、可
排放是发动机性能的重要指标,使用替代燃料是一种降低发动机排放的有效方式。多种替代燃料的混合使用,可以通过合理选择燃料和掺烧比例以及优化发动机喷油进气等参数,在发动
简缩极化合成孔径雷达(Compact Polarimetric Synthetic Aperture Radar,CP SAR)是一种新兴的极化SAR系统,能够在降低系统设计复杂度的情况下保持较好的全极化信息,具有较大