近些年来,随着智能设备的普及和发展,使用便携式相机拍摄各种视频已经成为人们日常生活中不可或缺的一部分。这些拍摄的视频除了记录日常生活,也有一些被用于执行一些复杂任务,如目标跟踪、物体识别等。但是由于条件或者使用场景的限制,这些相机往往缺乏配套的稳像设备,因而造成拍摄的视频中常伴随剧烈的抖动。这种抖动不仅会造成视频质量的下降和观看者的不适,也会影响基于这些视频执行其他后续任务,因此对抖动视频进行去抖具有十分重要的意义。同时这也是目前一个非常热门的研究方向。目前,针对一般场景的视频去抖问题已经有了一些较好的解决方法,但是这些现有算法在处理包含复杂场景的视频时常常会出现去抖性能的下降甚至失效的情况。这些复杂场景包括大前景运动物体、强视差和多动态前景遮挡造成的不连续景深变化等。本文针对上述挑战进行了深入的研究分析,并分别提出了具有针对性的算法。这些算法通过建立包含时间约束项和空间约束项的优化函数(即时空优化函数)进行视频稳定视角下的位置估计。归纳起来,本文的主要工作和研究成果有如下三点:1)提出了一种结合前景背景特征轨迹的视频去抖算法。本算法主要解决包含大前景和强视差场景视频的去抖问题。最典型的此类视频就是交通视频,交通视频是指由固定在车辆上的相机拍摄的道路视频,其中经常出现车辆等大前景物体和强视差的情况。不同于大多数现有算法仅使用背景特征轨迹进行相机运动估计和平滑,本算法不再区分前景特征轨迹和背景特征轨迹,并利用全部的特征轨迹对相机运动进行估计。本算法通过求解一个设计的优化问题消除摄像机运动的高频分量,即摄像机抖动,来稳定视频。由于我们的方法同时利用了前景和背景特征轨迹,因此其性能优于仅使用背景特征轨迹的去抖方法,尤其是在前景物体较大且提取的背景特征轨迹数量较少的情况下。此外,本文提出了一些改进策略以加快所提出的优化问题的求解并增强算法的鲁棒性。2)提出了一种基于内容感知分块策略的视频去抖算法。现有的去抖算法通常使用全局或者基于固定分块的运动估计和平滑,并进行抖动帧到稳定帧的映射。但是这些方法无法在复杂的场景(例如包含大前景对象或强视差的场景)中准确地实现抖动估计和平滑。为了解决上述问题,本文提出了一种基于视频内容和自适应分块策略的去抖算法。该算法根据抖动视频中特征轨迹在每帧内的分布将视频帧划分为不同数量和不同大小的三角形网格,然后利用这些三角形网格设计优化函数实现帧间运动的估计和平滑处理。为了进一步地提升算法鲁棒性,我们提出了两种自适应权重设置策略以改善其空间和时间自适应性。3)提出了一种基于像素级映射估计的视频去抖算法。由于基于传统计算机视觉技术的视频去抖算法在处理复杂场景(如前景遮挡和视差变化)时存在误差,且难以处理低质量视频,如光线暗、模糊、噪声、水印视频等,本文提出了一种基于深度学习的像素级映射估计的去抖算法。该去抖网络将连续的抖动视频帧序列作为输入,对其中存在的抖动进行估计和平滑,网络的输出是与视频帧相同大小的变换图,最后利用该变换图将抖动帧映射到稳定位置。本方法提出了一种新型损失函数,实现了网络的有效训练;设计了一种多层级联的结构,使得更深层级可以学习到相对浅层级的残差、显著提升了去抖效果。与现有方法比较,本算法是第一个通过像素级估计进行视频去抖的深度学习算法,具有更快的处理速度,能够更准确地处理复杂场景的视频去抖问题。