三维点云采样编码技术研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:cute_xiaoxiao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
三维点云是描述真实三维场景的数据形式,可以广泛应用于虚拟/增强现实、自动驾驶、文物修复等多个领域。然而,高精度三维点云数据量巨大,远远超出现有的存储设备和网络带宽的承载能力,为其传输和存储带来巨大的压力。因此,如何设计高效的三维点云编码方法已成为当下亟需解决的重要问题。由于三维点云空间分布不规则,基于二维规则图像/视频的编码方法很难直接应用到点云上。为了促进三维点云的大规模应用,运动图像专家组正在制定三维点云编码标准,即基于几何的点云编码方法(Geometry-based Point Cloud Compression,G-PCC)和基于视频的点云编码方法(Video-based Point Cloud Compression,V-PCC)。虽然当前编码方法已取得较为出色的表现,但其编码性能依然有待提高。本文重点研究了基于采样的三维点云编码问题,主要内容包括:1.研究当前MPEG点云编码标准(G-PCC和V-PCC)的应用场景、框架结构、算法流程以及编码质量评价准则;详尽分析不同编码配置下,G-PCC和V-PCC在主观、客观以及复杂度等多种评价指标下的编码性能。全面总结了当前编码标准的优点以及存在的问题,为后续的编码算法设计打下了必要的基础。2.从数据采样的角度出发,针对三维点云的几何信息,提出基于采样(下采样编码-上采样重建)的编码框架。该框架重建点云的效果严重依赖于几何上采样方法的性能。为了保障重建点云的质量,首先研究几何上采样方法。为克服当前上采样方法在几何高频区域易产生噪点的缺陷,本文采用生成对抗网络提出基于频率感知的几何上采样方法PUFA-GAN。给定一个低分辨率(Low Resolution,LR)点云,生成器采用动态图分层残差聚合和分层残差聚合单元分别提取和扩展LR点云的特征,以生成高分辨率(High Resolution,HR)点云。在判别器中,首先使用高通图滤波器显式地提取HR点云中的高频点(即被高通图滤波器提取的点,如位于尖锐的边、角区域的点或噪点等)。随后,将生成的HR点云和相应的高频点分别送入两个子判别器中,使判别器可以更好地识别生成器产生的带噪HR点云,促使生成器输出更加真实且无噪的高质量HR点云。实验结果表明,PUFA-GAN在不同的评价标准下均优于现有最先进的几何上采样方法。3.延续研究内容2,针对几何上采样问题,提出基于渐进式空间修正的几何上采样生成对抗网络PU-Refiner。该方法首先在生成器中产生一个粗糙的HR点云。随后,提出一个空间修正模块,该模块通过预测每个点的几何偏移量来“修正”粗糙的HR点云,通过渐进式地使用多个相同的模块,最终将一个粗糙的HR点云“雕刻”成含有精细几何细节的HR点云。同时,判别器采用多级特征融合和基于点的置信值策略进一步提升了判别精度。与现有的几何上采样方法相比,PU-Refiner生成了更加真实的上采样点云。4.基于研究的几何上采样方法提出基于采样(下采样编码-上采样重建)的点云几何编码框架。该框架在编码端首先使用指定的下采样方法将原始点云下采样至指定点数的稀疏点云。随后,将稀疏点云送入编码器进行编码。最后,使用本文提出的几何上采样方法(研究内容2和3)将解码出的稀疏点云插值重建成与原始点云相近的稠密点云。实验结果表明,与G-PCC编码平台版本12.0相比,在相同码率下,提出框架重建的三维点云几何质量得到显著增强。5.针对点云颜色信息,依然延续采样编码的思想,提出基于虚拟自适应采样的颜色编码方法。首先,通过分析点云整体颜色分布,把完整的点云划分为多个颜色分布相近的子点云。随后,提出基于K维树的3D编码块生成方法,该方法依据每个子点云的几何分布将其分割成多个形状相近的3D编码块。然后,在假设整个编码块充满数据点并且是可压缩的情况下,依据几何信息以虚拟自适应采样的方式确定编码块内真实的颜色分布,并使用稀疏表示去除每个编码块内的颜色冗余。最后,借助率失真优化策略自适应地选择不同的变换基矩阵,进一步提升稀疏表示的编码性能。实验结果表明,相比于当时的G-PCC编码平台版本6.0,在相同的码率下,有效地提升了重建点云的颜色质量。
其他文献
腔自旋电子学是研究谐振腔与磁振子之间耦合的新兴领域,主要目的是探索耦合体系的新颖现象,研究其中的物理机制,开发应用潜能。到现在为止,理论上和实验上发现磁振子和谐振腔之间存在多种耦合方式,例如磁振子与谐振腔之间的相干耦合,微波传输图谱表现为模式排斥。磁振子和谐振腔之间的耗散耦合,微波传输图谱表现为模式吸引。磁振子和谐振腔借助行波的间接耦合,通过调节耦合相位,可以实现微波传输图谱从模式吸引到模式排斥的
学位
原子级精确的货币金属(Cu、Ag和Au)纳米团簇作为连接原子与纳米颗粒的纽带,可进行结构的调控与性质的调节,其结构的获得对基础科学和应用科学都至关重要。金纳米团簇的长足发展,为银纳米团簇的合成及功能开发奠定了坚实的基础。在银纳米团簇的制备和物化性质的研究中,确定单晶结构和功能开发是重中之重,探究组装机理、建立构效关系是巨大挑战。基于此,在本论文中以表面配体工程为指导,选取炔基配体为主配体,无机含氧
学位
等离激元,常见于贵金属纳米颗粒表面,当其与外加电场发生共振(即等离激元共振)现象时,会引起独特的线性和非线性光学响应。因此,等离激元被广泛应用于非线性超快光子器件、光电调制和光催化等诸多领域中。然而,尽管等离激元在多种光子学科研领域中均有着深远的潜力,但是从基础性的理论研究到实验室中的光子学应用,再到普及式的工业化生产,依然极具挑战性。首先,等离激元的尺寸在纳米量级,大批量合成均匀、稳定且可调控的
学位
据考察“晋公盘”是春秋晋文公时期特制的青铜礼器,国家一级文物。是晋文公送给大女儿孟姬的嫁妆。在2019年由山西警方从境外某国成功追回。这件青铜礼器造型华美,工艺精湛,纹样精美,具有极高的艺术价值。本文主要介绍了晋公盘的外形特征,纹饰艺术特征,制作技艺等内容。
期刊
二维材料有着独特的结构和丰富的新奇物性,在物理、化学、材料等领域有着巨大的科学研究以及工业应用价值。其中,基于能谷自由度的二维能谷材料,在兼具基础物理研究价值(如反常能谷霍尔效应、能谷关联多重霍尔效应等)的同时,还在信息存储、处理等方面表现出巨大的应用潜力,因而成为当前物理、材料等领域的研究热点之一。此外,具有负泊松比的二维材料(即二维拉伸膨胀材料)可表现出有趣的拉伸膨胀性质,在医药、复合材料、国
学位
光是一种理想的信息载体,它可以将信息打包在一种零质量且具有无与伦比的速度的信号中。其相关技术广泛应用于电信、安全、医疗保健和消费等人们的生活领域。由于光的重要性,人类在探索如何操控光传播的道路上从未停止过步伐。纳米制造和表征技术的发展,推动了人们在光学纳米材料领域取得了许多突破。具有双曲线型色散关系的材料,又称双曲线材料,通过操控电磁波的等频线的形状,为控制光-物质相互作用提供了有力手段,被广泛应
学位
单线态裂分可以将光激发产生的高能单重态激子转化为一对低能三重态激子,使得吸收一个光子产生两个激子,因此,它能够超越常规单结太阳能电池的Shockley-Queisser效率极限(~33%),有效提高有机光伏器件的光电转换效率,从而得到了广泛的应用。对于任何光能转换体系,在光激发前,溶剂构型涨落、溶剂极性、溶剂与发色团的动态相互作用、分子振动、单体间相对位置排列、温度等因素均会造成发色团的瞬态结构变
学位
多孔有机笼作为一类离散的多孔有机分子,在大多数有机溶剂中具有良好的溶解性。在脱除溶剂的过程中多孔有机笼分子间通过非共价键作用相互堆积形成多孔晶体,因此多孔有机笼成为化学自组装中一类新兴的组装基元。研究多孔有机笼与其他组装基元的共组装行为,对制备多孔有机笼功能化衍生物以及拓宽多孔有机笼的应用领域具有重要意义。CC3是一种通过亚胺缩合反应制备的多孔有机笼,由利物浦大学的A.I.Cooper教授合成并命
学位
通过半导体光催化高效转化太阳能(如光催化水分解制氢)是替代不可持续的化石能源消耗的一种切实可行的途径。光催化技术的核心是光催化剂,而聚合氮化碳(CN)因兼具制备容易、成本低、无毒、稳定性好、能带适宜、可见光响应等优势而展现出了巨大应用潜力,但其存在固有缺陷,如比表面积小、结晶性差、光生电荷复合率高、光谱吸收范围窄等,导致其光催化性能还不够高。为弥补CN的固有缺陷,各种有效策略被相继提出,包括异质结
学位
电化学发光(electrochemiluminescence,ECL)分析是一种依靠电化学手段使体系中某种物质达到激发态并产生光辐射的化学测量学技术,以三联吡啶钌(Ru(bpy)32+)为发光试剂和三丙胺(TPrA)为共反应剂的分子型Ru(bpy)32+/TPrA体系已在商业化ECL生化分析与临床诊断领域获得广泛应用。研发性能超越Ru(bpy)32+/TPrA体系的新型ECL试剂与体系是ECL基础
学位