论文部分内容阅读
多相机视频融合是许多智能化教育系统中的一个重要子系统。校园大型场馆的监控,教室内全景视频的录制,教育机器人多视角的视觉感知等系统都需要多个摄像机同步采集视频并合成全景视频。视频中时间戳的移除与重置是这个全景生成过程中的一个有挑战性的研究问题。当每个视频中有一个叠加的时间戳而又没有被移除的情况下,由多个视频合成的全景视频会同时出现多个时间戳。这些时间戳影响视觉效果,甚至会遮挡住一些感兴趣的对象。为了产生一个高质量的全景视频,这些时间戳需被移除,在合成的全景视频中也需要重新叠加一个时间戳。本文研究问题是如何高效地移除单个视频中出现的时间戳,并在全景视频中高质量地重置时间戳。其主要目标是研究全景视频融合功能里面的时间戳移除与重置过程中所产生的一系列问题的解决方法和关键技术,并实现这些提出的方法在教育系统中的应用。其研究内容包括六个方面:(1)时间戳数字定位;(2)时间戳区域移除与修复;(3)多相机颜色校正;(4)时间戳数字识别;(5)全景视频生成;(6)教育机器人全景视频系统的实现。通过以上六个方面内容的研究,本论文在学术上做出了一些贡献,其主要贡献有如下三点:(1)在时间戳数字区域移除与修复问题上,传统的图像修复方法一般是利用近邻区域的像素或者纹理来填充,无法还原出真实图像。针对这个难点问题,本文提出通过主动控制PTZ相机使其周期性运动移位,使被时间戳数字遮住的区域能够在时间上邻近的帧中显露出来,然后通过快速图像平移量估计算法和相邻帧像素恢复方法来实现时间戳数字区域的移除与修复。快速图像平移量估计算法采用PTZ运动估计结合全局直方图匹配来计算移位两帧之间的平移量,该方法计算量小从而使其有较好的实时性。相邻帧像素恢复方法是根据快速图像平移量估计算法求得的结果,来定位原来被时间戳数字遮挡的区域在相邻帧中的位置,并利用图像融合技术来修复原来视频帧中的时间戳区域。采用该方法移除时间戳所得到的视频具有高度的场景一致性。(2)在多相机视频颜色校正问题上,提出一个混合的颜色校正技术,该技术将区域匹配方法与伽玛校正和线性校正方法相结合,解决了相邻相机之间重叠区域不规则情况下的颜色校正问题。采用该技术进行颜色校正,即使重叠区域不规则,目标图像的色彩也能与参考图像保持高度一致。(3)在搭建的教育机器人平台上,设计并实现了全景视频系统。该系统实现了时间戳移除与重置功能。