论文部分内容阅读
随着虚拟现实技术在近些年来的快速发展,全景视频得益于其题材丰富、沉浸感强的特点,成为了虚拟现实技术中最为成熟的一种业务形态,在体育赛事、旅游探险、游戏娱乐等领域得到了越来越广泛的应用。在线流媒体技术的发展也使得人们对于在线观看全景视频的需求越来越强烈。然而,由于全景视频分辨率高、数据量大,故通过网络传输全景视频需要较高的带宽资源,渲染显示等过程也对全景视频播放客户端的处理能力提出了较高要求。因此,全景视频的传输和渲染是影响全景视频观看体验的两个关键因素。本文对这两个环节展开研究。在全景视频的处理过程中,投影映射是十分关键的步骤,投影映射格式的选择会影响到全景视频编解码的性能、传输方式及渲染方式等,因此本文首先从投影映射格式出发,对OMAF标准中确定的两种标准映射格式ERP和CMP的映射过程进行分析,进而提出了渲染这两种投影映射格式的全景视频的方法。然而,ERP格式全景视频在两极地区存在的大量冗余像素容易成为渲染性能瓶颈,CMP格式全景视频在立方体面的交界处存在不连续现象会破坏观看的沉浸感。为了避免以上问题,本文提出一种基于CPP格式特点的网格构造方法,并在此基础上实现一种基于CPP格式的全景视频渲染方法。实验结果表明该方法相较于基于ERP和CMP的渲染方法,在渲染性能和渲染质量上存在一定优势。其次,本文对全景视频的传输技术展开研究。受限于目前的网络带宽条件及客户端解码渲染能力,传输完整的整幅全景视频不仅浪费带宽资源,也会给客户端的处理带来挑战。因而基于用户视域范围的传输是主流的全景视频传输方案。本文中提出了两种基于用户视域范围的传输方案,分别是基于Tile和基于TSP的全景视频传输方案。之后,本文以这两种传输方案为基础,实现了两个在线全景视频渲染系统。在搭建系统过程中,本文研究并实现了码率自适应、带宽预测、视点预测、播放帧率控制、基于TSP格式的全景视频渲染等算法。本文提出用户视域范围内每像素比特率这一指标来衡量用户视域范围内视频的清晰程度,进而分析了所搭建的两个系统及基于ERP的全视角在线全景视频渲染系统中,用户视域范围内的每像素比特率与视角预测准确率之间的关系。本文通过设计主观实验,对不同预测准确率下用户使用三种不同的在线全景视频渲染系统观看全景视频时的主观体验进行了研究。结果表明本文中实现的两个在线全景视频渲染系统在带宽有限条件下能够为用户带来良好体验。