结合偏移注意力边卷积与空间注意力的点云分类与分割方法

来源 :上海海洋大学 | 被引量 : 0次 | 上传用户:sunuplee
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着三维采集技术的飞速发展与普及,三维点云数据的获取变得愈发便捷。三维点云在自动驾驶、智能机器人、现实增强等领域的应用也越来越广泛。在三维点云感知的技术中,三维点云数据的分类与分割是三维感知领域的关键技术问题。然而,三维点云数据固有的无序性、不规则性、旋转不变性给点云的分类与分割造成困难与挑战。深度学习作为人工智能的主导技术,已经成功地应用于解决各种二维图像视觉问题。但是,处理点云的深度学习方法仍处于起步阶段。目前国内外基于深度学习的点云分类与分割网络通常都包括两个重要的步骤:特征聚合和特征提取。本研究针对三维点云分类与分割网络中特征聚合与特征提取这两个关键步骤,分别提出空间注意力(Spatial Attention,SA)模块与偏移注意力边卷积(Off-Set Attention Edge Convolution,OA-Edge Conv)模块,致力于提高点云分类与分割的精度。本研究的主要研究内容包括以下两个方面:(1)本研究针对现有基于深度学习的三维点云分类与分割方法在聚合过程中使用最大值特征所带来的信息丢失问题,提出空间注意力(Spatial Attention,SA)模块,并将该模块与动态图卷积网络进行结合,搭建了动态图卷积空间注意力网络(Dynamic Graph Convolution Spatial Attention Neural Networks,DGCSA)。首先,本研究采用动态图卷积网络的核心模块Edge Conv对点云数据进行特征提取,然后针对局部邻域聚合过程中容易产生信息丢失的问题,通过使用空间注意力(SA)模块学习出比最大值特征更具有代表性的局部特征,进而提高模型的分类与分割精度。本研究分别在Model Net40、Shape Net和S3DIS数据集上分别验证所提方法的分类、实例分割、语义场景分割性能。实验结果表明在动态图卷积网络的基础上,在聚合局部邻域特征中引入空间注意力(SA)模块,相比较于使用最大值特征而言可以更好的聚合邻域特征,有效地提高了模型在点云上的分类、实例分割与室场景语义分割的精度。在测试集上的对比实验结果展示该方法在分类任务上整体分类精度达到93.4%;实例分割的平均交并比达到85.2%;在室内场景分割的六折交叉检验平均交并比达到59.1%,相比基准网络动态图卷积网络分别高出了0.8%、0.3%、3.0%。此外,为了验证本研究提出的空间注意力(SA)模块是一种即插即用的特征聚合方法,将空间注意力(SA)模块结合PointNet、PointNet++、LDGCNN网络进行消融实验。消融实验结果表明上述网络结合空间注意力(SA)模块在分类任务的精度上均有提升,分别为0.5%、0.4%、0.6%。(2)三维点云的处理具有很大的挑战性,因为不规则点形成的不同形状难以区分。彻底地掌握难以捉摸的形状需要足够的上下文语义信息,但现有方法中很少致力于提取点云的上下文语义信息。因此,本研究针对现有方法对点云分割中对于整体形状相似,但是属于不同类别语义类标签的点云模型不能进行有效分割的问题,设计了偏移注意力边卷积(Offset Attention Edge Convolution,OA-Edge Conv)模块,并与注意力聚合模块结合,搭建了动态偏移注意力边卷积网络(Dynamic Offset Attention Edge Convolution Neural Networks,DOAEC)。偏移注意力边卷积模块在边卷积(Edge Conv)模块的基础上,结合自注意力机制与拉普拉斯矩阵的核心思想,通过计算注意力加权特征和输入特征之间的偏移量来代替注意力特征,充分挖掘三维点云潜在的上下文语义信息。本研究为了验证所提方法的有效性,分别在Model Net40、Shape Net和S3DIS数据集上验证所提方法的分类、实例分割、语义场景分割性能。在测试集上的对比实验结果表明本研究所提出的偏移注意力边卷积模块在保证较高分类精度(93.4%)的基础上,能够较显著提升网络的点云分割性能。在三维点云实例分割数据集ShapeNet的平均交并比达到85.5%,在三维点云室内场景语义分割数据集S3DIS上的六折交叉检验平均交并比为61.9%,相比较于基准网络动态图卷积网络分别高出了0.6%与5.8%。
其他文献
目的:系统评价目前已经发表的文献,分析慢性阻塞性肺疾病(COPD)频繁急性加重表型相关的危险因素,并结合临床病历资料,探讨COPD频繁急性加重表型的中医证素分布规律及病机演变特点,进而分析危险因素与中医证素间的内在相关性,以期更好地指导临床精准辨证,为实现疾病早期干预、开展个性化诊疗、延缓病情进展提供依据。材料与方法:论文一对中国生物医学文献服务系统(Sino Med)、中国期刊全文数据库(CKN
学位
近年来,由于宏观经济增速变缓,房地产行业逐渐出现供过于求的态势,再加上“房住不炒”等政策的影响,房地产企业逐步踏上了战略转型的道路。而曾饱受轻视物业行业,正以其特殊的方式引人注目。在互联网等新兴技术的推动下,物业行业成为了房企转型发展路上的一匹黑马。2014年彩生活成为我国首家赴港上市的物业企业,上市仅3天市值就赶超了母公司,随后房地产企业纷纷向物业管理这片蓝海领域进军,开启房企物业分拆上市的道路
学位
目的:探讨合成磁共振成像(synthetic MRI)定量弛豫图在预测胶质瘤异柠檬酸脱氢酶1(IDH1)和Ki-67表达中的应用价值。资料与方法:本研究于2020年8月至2021年9月期间,前瞻性连续纳入81例就诊于宁夏医科大学总医院经术后病理证实为胶质瘤的患者。所有患者行手术或立体定向活检前,均在3.0T MR扫描仪上进行检查,主要扫描序列包括轴位扩散加权成像(DWI)和增强前后syntheti
学位
目的研究慢性缺血性脑白质病变(white matter lesions,WML)患者的临床特征及血清蛋白质组,分析血清β2微球蛋白(beta-2-microglobulin,B2M)对脑白质病变严重程度的预测价值,寻找与疾病相关的血清生物标志物,并进一步探索发病机制相关的分子通路。方法(1)第一部分为回顾性研究,选择2019年10月-2020年10月期间在我院神经内科住院患者,根据中国脑小血管病诊
学位
本文基于多元文化社会工作视角剖析新疆籍汉族大学生文化适应问题包含观念文化、群体生活方式及内地高校制度文化三个层次,涉及新疆籍汉族大学生与高校内地学生、新疆籍汉族大学生与新疆少数民族学生、新疆籍汉族大学生与内地高校管理层的三维度互动以及文化他者、文化区隔和文化融合三个不同程度的文化适应问题。本文认为新疆籍汉族大学生的文化适应问题症结为新疆原初多元文化的维系悖论和内地高校多元文化的教育悖论。为回应新疆
学位
2007年6月1日,我国引入《破产法》。《破产法》明确界定破产重整、破产清算和破产和解三种重整方式。破产重整以《破产法》为法律准则,通过减免债务、改变资本结构等重整方式,帮助具有持续经营价值的企业摆脱债务危机,重获新生。本文研究的主要问题是(1)ST沈机能否通过破产重整摆脱经营困境;(2)ST沈机如何通过破产重整摆脱债务危机;(3)破产重整能否提升ST沈机价值。本文以ST沈机为研究对象,首先分析我
学位
目的构建弓形虫Ⅰ型(RH株)、Ⅱ型(Me49株)、Ⅲ型(VEG株)ROP16过表达慢病毒载体,转染至人单核THP-1细胞并进行稳转细胞株筛选,验证其在THP-1细胞中的表达,进而研究不同ROP16蛋白对THP-1细胞增殖、凋亡以及炎症反应的影响及机制,并利用RNA-Seq技术进行转录组测序分析,探讨不同ROP16对THP-1细胞在转录水平作用的差异。方法1.将构建好的过表达ROP16(over E
学位
商誉是溢价并购重组的产物。受市场竞争加剧和政策利好等多方面影响,近年来企业迎来并购重组热潮,商誉在“高业绩承诺、高溢价、高估值”的助推下持续攀升。商誉的后续计量存在严重的经济后果,天娱数科公司的业绩盈亏完全受商誉减值左右,这引起监管部门和各界人士的广泛关注。特别是业绩承诺未实现情况下,理论界对商誉价值基础及减值标准认识不一,实务界做法各异,商誉会计信息质量饱受诟病。因此,结合案例情境,从商誉的资产
学位
在新一轮基础教育课程改革的背景下,中学历史课程也加快了改革的步伐。2017年,教育部发布《普通高中历史课程标准》(2020年修订);又于2022年发布《义务教育历史课程标准(2022年版)》。新修订的初、高中历史课程标准强调课程资源在教学中的重要作用,而乡土资源作为历史课程资源的重要组成部分,在中学历史教学中理应被重视。为使酉阳地区的乡土资源与重庆市酉阳第一中学校开展的历史教学活动有机结合,需要对
学位
目的探讨基于MRI影像组学特征预测模型、临床病理特征预测模型以及联合预测模型预测乳腺癌(Breast Cancer,BC)新辅助化疗(Neoadjuvant chemotherapy,NAC)后达到病理完全缓解的可行性及应用价值。方法本研究回顾性分析就诊于宁夏医科大学总医院经穿刺活检证实为BC,且行NAC后经手术切除病理结果有Miller-Payne(MP)分级系统评价的125例患者,收集患者的临
学位