随着计算机软硬件的发展以及三维处理能力的增强,虚拟现实技术在近些年得到了较大的发展,产生了越来越多与人们生活息息相关的技术,从虚拟和现实两个方面推动了虚拟现实相关技术的发展,其中视频增强虚拟环境技术是一个重要的研究领域。传统的视频增强虚拟环境技术,一般是将视频以广告板的形式简单地嵌入到三维场景中,并未考虑视频的空间位置和信息,使得摄像机及其视频数据缺乏足够的地理信息支持,融合效果的真实性较差。同时,对于视频增强虚拟环境,由于需要同时加载三维模型和视频数据,较一般的三维场景而言,需要消耗更多的系统资源,容易导致系统显示速度慢、效果差,出现掉帧的情况,严重影响场景的流畅度和真实感。随着视频GIS的产生和发展,视频空间信息的重要性得以凸显。本文基于地理空间信息实现了多视频与三维场景的实时融合显示,使其既具有虚拟增强的优势,又可以提供精准、丰富的地理空间信息,使得整个视频场景更为直观、更易于理解。针对场景显示问题,采用基于视点剪裁的优化方法加载视频数据,提高了场景的显示速度和效率。本文的主要研究与成果如下:(1)实现了多视频与三维场景的实时融合。通过摄像机内外参数构建视锥体,用来表示摄像机的可视范围,借鉴阴影图算法思想,通过判断遮挡关系确定视频实际覆盖范围,采用投影纹理映射技术和着色器语言编程进行视频纹理匹配,对视频和场景进行更新,实现了单视频与三维场景的实时融合。在此基础上,采用多遍渲染技术实现了多个视频的融合。(2)利用优化方法提高了视频融合场景的显示效率。构建了摄像机八叉树空间索引,在投影空间中基于视点和索引对摄像机进行初步剪裁,剪裁完全不在视域内的摄像机和视频数据。对于与视域相交的摄像机视锥体,采用精细剪裁,进行光栅化处理,基于屏幕空间统计可见像素占比,根据比例大小判断是否剪裁该摄像机及其视频数据。(3)开发了应用系统并进行对比实验。在理论研究的基础上,设计和开发了多视频与三维场景实时融合系统,展示了系统在实际应用中的场景融合效果。进行了对比实验,验证了优化方法的有效性。实验结果表明,相对于三维模型而言,视频数据是影响场景显示速度和效率的主要因素,场景中加载的视频个数越多,场景的帧率越低。针对这一问题,采用优化方法加载视频数据。通过实验对比,表明采用视点依赖的摄像机索引剪裁和空间精细剪裁相结合的优化方法,在不影响场景内容显示的前提下,有效并且较大程度地提高了场景显示的流畅度和表现的真实感,达到了预期的优化目标,确保了多视频与三维场景实时融合系统的实用性和有效性。