基于超高分辨率全景视频的VR系统研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:cats2106
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着虚拟现实技术的不断发展,人们的视听体验得到了极大的丰富。VR全景视频是最热门的VR业务,被广泛应用于诸多场景,受到了工业界与学术界的一致关注。相对于传统视频,全景视频包含全方位视觉信息,因而需要更高的分辨率。16K以上的超高分辨率的全景视频包含更多的细节,支持更丰富的播放方式,允许用户将感兴趣的区域放大观看,从而给用户提供更多的信息量。然而如此大的分辨率,对网络传输带宽以及终端播放性能提出了巨大的挑战,同时对视频的呈现方式和渲染方法提出了新的要求。本文研究了3DOF和3DOF+两种自由度下基于超高分辨率全景视频的VR系统,提出了基于视频分tile的视点自适应分块传输方法降低传输带宽和实际处理的视频分辨率,解决了超高分辨率全景视频传输、解码和渲染的问题。在3DOF VR系统中,本文提出了4种VR放大镜模式,能够将用户视点位置的视频放大呈现到视窗中央的圆形区域,与此同时视窗的其他区域不放大,从而允许用户在播放过程中将感兴趣的区域进行放大以观看细节。使用64K超高分辨率全景视频保证放大时的清晰度。对于超高分辨率全景视频的传输与播放,首先将全景视频均匀划分为1152个1280×1280分辨率的tile,使用运动受限视频分块划分的方式进行编码;播放时根据视点位置下载放大区域内的tile,然后将tile的码流融合成一个,使用单个解码器完成解码,渲染到圆形放大区域。另外下载低质量的全景视频副本渲染非放大区域。实验结果表明,相对于传输完整64K分辨率视频,该tile传输方案能节省96.17%以上的带宽,并大幅降低实际处理的视频分辨率。4种VR放大镜模式给用户提供了丰富的交互方式以及更多的信息量,并且显著降低放大时用户的晕眩感。为了给用户提供更高的自由度,本文进一步研究了基于超高分辨率全景视频的3DOF+VR系统。该系统允许观众在虚拟球体内自由移动,在球内的任意位置以任意方向观看全景视频;实现了“远小近大”的显示效果,对于感兴趣的区域,观众可通过靠近该区域使其呈现放大效果以观察细节。提出8K/16K/32K/64K四种分辨率并存的视频分层方案,其中16K/32K/64K视频使用不同tile划分方案,播放时根据用户位置和朝向选择最合适的层次,保证了视角内的视频分辨率不超出解码器限制,而且切换更平滑,能随着放大倍数增大而切换到更高分辨率视频源,保证清晰度。另外提出射线法和分块渲染方法,分别解决视角内tile的计算和渲染问题。实验结果表明,该系统能够节省95.59%以上的带宽。3DOF+模式下自由度更高,用户获得了更多的信息量,沉浸感和真实感更强。
其他文献
主要介绍直流调速、交流变频调速、交流伺服控制在浮法玻璃生产线上的应用情况,并对其优缺点及发展方向进行简单评述。
本文试图从系统论的角度来探讨贫困地区经济发展与环境保护相协调这一国民经济管理问题。在此基础上.我们得出,应该改变经济运行机制来促进贫困地区的协调发展,走生态效益型的经
目前农村养猪量减少,原因是多方面的,但根本的一条就是养猪的经济效益不高,有的甚至亏本。高效农业是现代农民致富之本,所以高效生猪养殖是广大养猪户的必由之路。
一、选地、整地 选择中等以上肥力,三年内未种过向日葵。小麦全蚀病较轻的地块,要求秋深耕20厘米以上,如有条件,每三年深耕一次,通过深翻,减轻小麦、向日葵的病虫草害。有利于根系
近年来,辽宁省农村能源办公室根据国家农业部《关于加强农村能源职业技能鉴定工作的通知》(农能职鉴{2001}03)文件精神,在全省农村能源战线开展了大规模的职业技能鉴定培训活动,培
意象油画并非是“油画民族化”的延续和变种,它不可避免地受到了“民族化”理论的影响,但在中国油画史的脉络中一直根植于“本土”之上,并独立于政治干预下的“油画民族化”
文章从描述高职教育特点和安全评价技术课程的主要内容入手,指出了本课程的教学和实验实训存在的主要问题。针对问题,对本课程进行了教学内容、教学方法和手段、实践教学和考