论文部分内容阅读
近年来,随着虚拟现实技术的不断发展,人们的视听体验得到了极大的丰富。VR全景视频是最热门的VR业务,被广泛应用于诸多场景,受到了工业界与学术界的一致关注。相对于传统视频,全景视频包含全方位视觉信息,因而需要更高的分辨率。16K以上的超高分辨率的全景视频包含更多的细节,支持更丰富的播放方式,允许用户将感兴趣的区域放大观看,从而给用户提供更多的信息量。然而如此大的分辨率,对网络传输带宽以及终端播放性能提出了巨大的挑战,同时对视频的呈现方式和渲染方法提出了新的要求。本文研究了3DOF和3DOF+两种自由度下基于超高分辨率全景视频的VR系统,提出了基于视频分tile的视点自适应分块传输方法降低传输带宽和实际处理的视频分辨率,解决了超高分辨率全景视频传输、解码和渲染的问题。在3DOF VR系统中,本文提出了4种VR放大镜模式,能够将用户视点位置的视频放大呈现到视窗中央的圆形区域,与此同时视窗的其他区域不放大,从而允许用户在播放过程中将感兴趣的区域进行放大以观看细节。使用64K超高分辨率全景视频保证放大时的清晰度。对于超高分辨率全景视频的传输与播放,首先将全景视频均匀划分为1152个1280×1280分辨率的tile,使用运动受限视频分块划分的方式进行编码;播放时根据视点位置下载放大区域内的tile,然后将tile的码流融合成一个,使用单个解码器完成解码,渲染到圆形放大区域。另外下载低质量的全景视频副本渲染非放大区域。实验结果表明,相对于传输完整64K分辨率视频,该tile传输方案能节省96.17%以上的带宽,并大幅降低实际处理的视频分辨率。4种VR放大镜模式给用户提供了丰富的交互方式以及更多的信息量,并且显著降低放大时用户的晕眩感。为了给用户提供更高的自由度,本文进一步研究了基于超高分辨率全景视频的3DOF+VR系统。该系统允许观众在虚拟球体内自由移动,在球内的任意位置以任意方向观看全景视频;实现了“远小近大”的显示效果,对于感兴趣的区域,观众可通过靠近该区域使其呈现放大效果以观察细节。提出8K/16K/32K/64K四种分辨率并存的视频分层方案,其中16K/32K/64K视频使用不同tile划分方案,播放时根据用户位置和朝向选择最合适的层次,保证了视角内的视频分辨率不超出解码器限制,而且切换更平滑,能随着放大倍数增大而切换到更高分辨率视频源,保证清晰度。另外提出射线法和分块渲染方法,分别解决视角内tile的计算和渲染问题。实验结果表明,该系统能够节省95.59%以上的带宽。3DOF+模式下自由度更高,用户获得了更多的信息量,沉浸感和真实感更强。