论文部分内容阅读
近几年来,无人机航拍技术发展迅速,已经从专业走向商用,正在跨步走向民用。然而,由于飞行高度和器材限制,无人机航拍视频的视野范围一般较小,主要用于影视片或宣传片制作。对于城市规划、地貌勘察、交通建设等需要提供高精度、大视野地面全貌影像的领域,应用有限。全景拼图技术,为开拓无人机航拍视频应用带来了希望。 随着图像处理和航空拍摄技术的不断进步,大范围地面全景图正在被大量生产出来。然而,目前商业化应用的地面全景影像一般是由航空拍摄的图像拼接而得,生成过程需要大量的人工干预,或者在图像获取过程中指定拍摄条件,如事前标定、航测标定等,或者在后期合成过程中辅以人工操作,如图像选择,配准校正等。然而,对于无人机航拍视频而言,现有拼图方法面临巨大挑战。这是因为相比于图像,视频具有下述特点: (1)信息具有高度冗余性。场景中同一点在多帧图像(通常是十几帧、几十帧甚至更多)有成像信息,如果直接运用现有的图像拼接的方法,计算代价巨大。 (2)拍摄方式和场景具有非限定性。视频中很容易出现立体信息,无法再用现有的图像拼接的手段进行拼图。 但是,视频的信息互补性也让我们看到了希望和机遇。视频信息互补性中,潜藏着场景和摄像机运动信息,充分挖掘这些信息,将能够减少拼图过程中的人工干预,为自动拼接地面全景图或生成地面虚拟场景带来可能。 本文围绕无人机航拍视频正射全景拼图这一目标,研究如何自动生成地面全景拼图。根据场景特点,将研究内容分为两类,类平面场景拼图问题和非平面场景拼图问题。针对不同情况,分别给出拼图策略。 本文主要工作及创新点如下: 对于类平面场景的图像拼图,目前有很多拼图策略和算法。如果将视频简单地视为是图像序列,理论上说是能够实现自动全景拼图的。然而,由于视频具有大量的冗余信息,这种计算的代价是巨大的。本文从分析无人机航拍视频成像方式和场景特点入手,推导简化的图像全局运动模型,降低运动建模复杂性。提出双向最邻近的匹配方法,有效降低全局运动参数估计的时间复杂性和提高模型精准度,提高配准精度,实现了两帧图像间快速有效的配准。针对视频的长序列高相关特性,提出长序列图像任意帧间图像配准的方法,有效降低了累计误差。 色彩融合是拼图中的一个经典问题。目前消除图像拼接过程中的色彩差异问题,有很多效果很好的方法。然而,对于航拍视频而言,由于拍摄过程中,摄像机的运动任意性,使得图像之间的重合区域具有任意性。而且,多帧(通常是十几帧、几十帧甚至更多)图像之间具有重合区域且互相交叠,这给色彩融合的计算带来了挑战。本文提出了用于视频序列多帧图像同时融合的Poisson色彩融合方法。通过分析航拍视频序列特点,定义梯度场和边界条件,取得了比较理想的融合效果。为实现视频拼图中多帧图像的同时融合,本文提出两种帧选择策略,减少了需要进行融合计算的图像区域,提高了拼图效率。 在视频序列中出现立体信息1时,拼图问题变得复杂起来,是一个多解问题,没有成熟的策略方法可循。将具有不同视点的立体场景,呈现在单一图像中,涉及到视图信息的取舍,这取决于拼图者的主观意图。本文以生成正射投影全景图的为目标,提出基于生成模型的正射全景拼图策略。首先利用三维重构方法获取场景结构信息和摄像机参数,利用稠密匹配方法获取场景的稠密点云,然后基于生成模型,将场景信息向成像平面正射投影,获取场景的正射全景图。具体做了两方面工作: (1)在图像配准中,提出了对极几何约束的光流方法。该方法在传统光流方程中,引入了对极几何约束,有效减少了立体匹配过程中的搜索空间,实现了不经过校正直接进行立体匹配,有效降低计算复杂性,提高匹配精度。 (2)本文提出基于生成模型的正射投影方法,利用场景结构信息和相机运动信息,将稠密点云向目标全景图进行正射投影,能自动进行视点和视图选择。由于在约束条件中同时考虑了正射性和色彩一致性,在获得正射影像的同时,也实现了全景拼图的色彩融合。 对于本文提出的方法,本文通过对多段真实的无人机航拍视频数据和少量仿真数据进行实验。实验结果表明,对于航拍视频的正射全景拼图,本文提出的相关方法可行有效。