目前,随着科技的发展和普及,学习形式也越来越多样化。在线学习已经成为了一种重要的学习方式,并且每天都有大量的学习视频上传到网上。演讲视频是其中一种非常重要的学习资料,但是这些视频都未结构化,如果用户想要了解演讲视频中某个具体的知识点,他们往往要浏览整个视频才能找到。这种学习方式会大大降低学习者的学习效率。因此,很有必要利用演讲视频摘要技术自动化地提取演讲视频中代表性的知识信息。目前,很大一部分录制的演讲视频是带幻灯片演讲的视频,在这类视频中,幻灯片切换时刻检测的研究尤其重要。这是因为幻灯片的切换时刻意味着演讲内容的变换,据此可将演讲视频分段,每段针对的是不同的幻灯片内容。本文主要针对带幻灯片演讲视频类型的幻灯片切换检测的研究。给定一个演讲视频,视频中以单个或者多个PTZ(pan-tilt-zoom)镜头记录了幻灯片、演讲者、观众。我们的目标是检测幻灯片内容发生变化的关键帧,其主要研究工作包括:(1)通过稀疏时变图实现对演讲视频幻灯片切换时刻的检测。首先,将输入的演讲视频采样分帧,检测每帧图中的特征点,通过对特征点提取、匹配将输入视频分成若干片段。接着,构建稀疏图,将视频片段视为图的每个节点,故此将检测幻灯片切换问题转化为图的邻接矩阵推论问题。最后,通过我们提出的全局优化算法对一系列稀疏时变的邻接矩阵进行计算,邻接矩阵的改变即可反映出幻灯片切换时刻。(2)利用时空残差网络的深度学习方法实现对演讲视频幻灯片切换时刻的检测。卷积神经网络模型在提取图像特征方面展现了强大的能力,但是它只能提取视频帧的空域信息。而演讲视频中幻灯片切换时刻反映了一段时间内图像的变化,时域信息也是一个非常重要的信息。为了提取视频帧的时域信息,我们引入了3D卷积神经网络模型(3D ConvNet)。3D ConvNet模型在检测视频中空、时域信息方面是一个高效的方法,但是3D ConvNet会消耗大量的显存和需要较长的训练时间。为了优化训练过程,我们在3D ConvNet的基础上添加了残差网络ResNet,取得节省训练时间,提高检测精度的效果。最终,我们提出一种基于3D ConvNet和ResNet的一种全新的网络模型用来检测演讲视频幻灯片切换时刻。