论文部分内容阅读
虚拟现实技术能给观众带来沉浸式的体验,随着它的快速发展,实景漫游也成为一种倍受关注的技术。结合视频是一种能带给观众很好的直观感受和视觉体验的媒体,本文提出了一个基于全景视频的3D实景漫游技术,使观众在观看视频的时有置身于所观看的场景中的体验。另外,本文也实现了两款3D实景漫游系统的开发,证明了所提出的方法的有效性。为了使观众在观看视频内容时,有身临其境的感觉,我们需要实现两项关键技术。其中一个是要实现能向观众提供一个观看角度为水平达到360度,垂直达到180度的全景视频技术。另一个是根据观众的视点和选择,实现视频的自适应调节播放,让观众能够与视频内容有更多的互动,并且使得视频具有立体效果,让观众能沉浸于场景之中。对于第一个技术,本文提出了一个快速的基于鱼眼镜头的拼接算法,它能使得最后拼接出来的全景视频达到全视角范围,观看效果比已有的算法更好,更贴近人的感官。在此之中,我们提取音频的色度特征(Chroma),来解决全景视频拼接中多个相机之间的帧同步。对于第二个技术,本文提出了一个真假3D混合方法,能够根据观众形态的动态反馈实时调节画面,在漫游中实现立体效果。根据以上两个技术,本文还提出了一套基于全景视频的3D实景漫游技术的实施方案来证明所提出方法的有效性。具体地,基于开源库OpenGL和FFmepg,我们打造了两款播放系统,第一款是“3D实景漫游系统”,做法是让带有多相机模组的运动底盘按照路径在漫游场景中拍摄多段全景视频,然后通过感知哈希算法(pHASH)找到拍摄全景视频之间的交点进行分割得到基本视频素材,让视频之间前后左右相互关联,通过播放系统即可让观众能够在立体场景中进行前后左右的漫游;第二款是“定点全景3D播放系统”,通过双目鱼眼镜头进行定点环拍获取背景的序列图像,然后在播放过程中,当视角转变时直接切换照片,使得背景的立体信息最真实的还原,然后再把于立体相机拍摄影片中抠取出来的运动物体叠加在背景当中,让运动物体摆脱拍摄时时间和地点的限制。另外,此项技术也解决了全景视频在直播领域传输带宽过大的问题,在实际应用中有很大的潜力,特别是在虚拟现实和新概念电影节目以及视频直播等领域。并且,所实现的两套系统已经达到基本实用的要求,有着很好的市场前景。