论文部分内容阅读
随着虚拟现实、自动驾驶、无人机、机器人等技术的跨越式发展,球面图像作为一种崭新的媒体形式大量涌现。球面图像可以提供比平面图片表达更多的图像信息,通过更强的真实感和交互性,给观赏者带来身临其境的感觉。目前,球面图像分割、编码以及识别等方法与技术的研究已成为研究的热点。所有球面图像的研究都要面临一个核心问题——球面图像数据的表示。球面图像数据常通过投影以平面图像表示,由于球面是一个二维流形,与平面不同胚,因此平面化表示破坏了球面数据的一致性和连续性,必然会带来如下问题:1)对任何一种平面表示,任一连续球面图像理论上可有无穷多个表示形式;2)平面化的投影会引入畸变和冗余。这些问题给球面图像处理和分析埋下了隐患,进而制约球面图像处理技术的发展。传统图像处理技术的大规模成功应用,得益于平面图像的规格化表示和依赖于这种表示的高效数字图像处理技术。但对于球面图像,目前还缺乏有效的规格化表示方法。这使得滤波、上下采样等基本操作难以实现,无法构建球面图像变换等复杂处理工具。为此,本文研究了规格化的球面图像表示及该表示框架下的球面图像的索引、球面图像的生成及球面图像的分析工具。论文提出了一种保持球面拓扑结构的规格化的球面图像表示;在新的图像表示形式下,利用规格化图像的结构特点,建立具有线性结构的规格化球面图像的索引体系,从而实现球面图像的高效检索;提出基于球面测度的重采样算法,生成高质量的规格化球面图像;基于本文所提的线性结构的索引体系,在提升小波框架下,构建球面图像的小波变换,为球面图像处理提供多尺度分析工具。本文的工作主要集中在以下几个方面:第一,提出了规格化的球面图像表示。传统ERP、Cubemap、Octahedron和ACP等表示方法基于平面投影,而平面化方式会产生严重的畸变和冗余,破坏了球面图像采样的一致性和视点的连续性。为了消除投影过程带来的弊端,可直接在球面上借助球面网格构建球面表示模型。因球面三角形网格可将球面剖分成均匀分布、面积近似相等的曲面三角区域,比其他球面网格,如四边形网格、六边形网格等更符合球面特性,且更有利于数值计算。因此,本文直接在球面空间采用球面三角网格对球面图像像元进行建模,并给出了球面三角像元的形式化表示。该模型保持了球面图像数据的球面测度,构成了基于球面有限离散空间上的近似规格化表示。为进一步研究球面三角像元特性,本文基于此规格化表示构造了球面图像的简单线性迭代(simple linear iterative clustering,SLIC)超像素分割算法。该算法直接作用于简单重组后的球面三角像元上,可生成形状合理、轮廓闭合的球面超像素区域。该超像素分割算法生成的超像素区域的主客观结果均优于在投影后的球面图像上直接使用传统SLIC算法。实验结果说明球面规格化表示下的球面三角像元模型能直接体现球面测度,可有效去除平面化表达带来的采样冗余和相关性破坏的问题。第二,提出了高效的球面三角像元的规格化索引方案。传统的三角网格的寻址方法可以用于检索规格化球面图像的三角像元。然而,该寻址方案只能建立一个具有非线性结构的地址系统而非线性结构的索引系统。因此,该系统无法像平面图像检索系统一样以线性结构随机访问像元,不能直接用于滤波、上下采样等基本操作,不利于建立球面图像变换等复杂的球面处理工具。为此,本文在规格化的球面图像表示框架下,分析球面三角像元间关系,建立了基于重心坐标的索引方案和二进索引方案。基于重心坐标的球面三角像元索引以三角形的重心坐标为基础,使用二维线性整数描述表示球面三角像元顶点在球面域的拓扑关系。然而,这种索引体系以等边三角形方式组织像元,其索引空间充斥大量无效区域需特殊处理。为解决这一问题,本文进一步提出了二进索引方案。该索引方案将球面三角像元映射为平面空间下的连续直角三角形,在保持球面三角像元的原始拓扑关系基础上,实现了与平面图像类似的索引体系,方便卷积滤波和上下采样操作,为后续的球面小波变换的构建奠定了基础。第三,提出了基于重采样的规格化球面图像生成方法。海量的球面图像通常都是以ERP格式存储,其他格式可从ERP格式转换生成。如何将ERP格式球面图转换成规格化球面图像是规格化球面图像处理的核心问题,也是建立后续的球面小波变换的基础。在规格化的球面图像表示中,针对三角像元,如何构建高精度的重采样算法是生成高质量规格化的球面图像的关键。本文在规格化球面表示和索引基础上,提出了基于球面径向基函数和基于球面测度的两类球面图像重采样方法。第一类球面径向基函数重采样方法包括基本算法和快速算法,基本算法是在当前的索引系统下,以球面域上构造的径向基函数作为插值函数,计算规格化的球面图像像元值。由于基函数的权重可通过测地线距离准确获得,因此其重采样性能要优于传统的平面插值算法。然而,基函数局部支撑区域复杂而参考点位置多变,增加了局部支撑约束判定操作,导致该算法运算效率低下。为此,本文构建了快速的径向基函数重采样方法,该算法在基于三角形重心坐标的索引系统下,通过预测局部支持区域与球面三角网格块邻域关系,大量减少了局部支撑约束判定操作,大幅提升了计算效率。不过,基于球面径向基函数的方法忽略了规格化球面结构特性和三角像元的形状特性。于是,本文将球面插值问题转化为球面积分问题,通过球面测度建立球面域与参数域的映射关系,推导出了另一类基于球面测度的重采样方法。该方法具有解析形式,在时间效率及重建精度上均优于基本球面径向基函数方法。本文针对连续合成球面图像和自然球面图像,通过实验验证了两类重采样方法生成规格化球面图像表示的性能。实验结果表明本文的重采样方法能够有效较少转换误差,所生成的球面图像在主客观质量上均优于传统重采样方法。第四,提出了基于球面规格化表示的球面小波变换。众所周知,提升小波方案为构建小波变换提供一个灵活而有效的途径。由于球面结构的复杂度远超于平面结构,因此不能像平面图像一样简单地将球面图像像元按照奇偶划分。规格化球面图像具有天然的多分辨特性,这与小波二进尺度的结构完美匹配。本文在球面图像规格化表示下,利用小波提升方案,构造了规格化球面图像的小波变换,为球面图像提供了多尺度分析工具。该变换利用规格化球面图像的二进索引体系,建立球面小波分解树,实现球面图像的小波域的分解与重构算法。与平面图像的小波分解树类似,球面图像的每一层小波分解都产生一个低频子带和三个高频子带。为了获得更紧致的球面小波变换,本文引入归一化、能量守恒等滤波器组约束,以构建高低通数字滤波器组。为了验证所提小波变换的有效性,本文通过实验探索了球面小波的能量集中程度,验证了该小波的紧致特性。同时,还通过边缘检测实验进一步验证了该方法有较好的球面图像几何特征的捕获能力。