新世纪以来,视频监控广泛用于人们的日常生活,但是传统的摄像机拍摄范围有限,造成监控资源的浪费,并且拍摄场景多是单摄像机的二维图像数据,缺少立体场景的可视化监控效果。视频增强虚拟环境(AVE)将实时视频与三维虚拟场景相融合,既能将时间和空间的一致性发挥最大优势,它还能最大限度地扩展和应用视频分析的结果并得到充分的理解,在政府部门、交通站点、社会保障等方面具有广阔的发展空间和应用价值。将监控视频图像融合到三维虚拟场景中的前提是已知真实摄像机在三维虚拟场景中的位姿参数。通过人工标注是摄像机位姿求解的常用方法,但是这种方法不仅费时费力,在对于真实场景中摄像机需要调整姿态的前提下也很难应用此方法。大多数摄像机都有自动调整姿态的功能。除非得到厂商软件的支持,否则无法实时获取摄像机调整后的姿态信息,导致监控视频与三维虚拟场景无法准确实时地融合。本文在已有的三维虚拟场景基础上,对实时监控视频与三维虚拟场景融合面向大范围视觉监控的增强虚拟可视化技术研究。作者完成的主要工作与成果如下:(1)对特殊情况下摄像机参数发生变化进行分析,提出了对摄像机进行实时监测和实时位姿估计的方法。该方法采用全局特征的颜色直方图快速检测摄像机参数是否发生改变,然后提出了 MSORB(多尺度ORB)算法和快速GMS算法实时获取摄像机参数进行精确的局部特征提取和匹配。MSORB算法采用B样条函数生成尺度空间来提取不同尺度空间的特征点,具有运算速度快和图像旋转不变性,提高了特征点的数量和检测精度。为了优化匹配结果,提高匹配速度,实验研究提出快速GMS算法即采用四近邻的五宫格运动统计方案进行优化匹配,确保摄像机参数变化后的监控视频与三维虚拟场景实时自动融合,避免人工的繁琐操作和滞后性。(2)在摄像机位姿参数已知情况下,本文分析了二维视频图像在三维虚拟场景中所应该对应的映射区域,并采用改进的Shadow Map算法解决监控视频图像视角和三维虚拟视角之间的可见性映射不一致导致的问题,以确定二维视频图像在三维虚拟场景中的正确的映射区域,使得三维虚拟场景得到正确的监控视频纹理。针对多路摄像机,提出将多路视频与三维场景模型进行拼接融合操作的方法。在基于三维渲染引擎和GPU Shader技术的基础上,实现将实时监控视频图像与三维虚拟场景逐像素的实时融合。本文实验证明了方法的有效性和实用性,实现了大范围视觉监控可视化,有利于监控人员对监控视频情况进行分析和处理,有助于增强视频虚拟环境的应用空间。