传统视频监控系统时效性低、投入成本高,无法充分发挥监控系统的作用。智能监控系统将异常行为检测算法和计算机设备结合,实现自动化监控,弥补传统监控系统的缺陷。本论文研究的异常行为检测技术是智能监控系统中的核心技术。异常行为检测主要存在三个难点:(1)视频数据具有高维、高噪、信息量大的特点;(2)异常行为和正常行为的定义模糊;(3)异常行为具有低概率、罕见的特点。视频数据的特点和异常事件的特性导致异常行为数据获取十分困难,信息标注任务重。本论文主要研究基于无监督学习和弱监督学习的异常行为检测方法。本论文提出以下三种方法:(1)基于自编码和SEblock的无监督异常行为检测方法。视频数据不仅具有空间维度和时序维度,还存在大量的冗余信息。因为过多的冗余信息会导致异常行为检测结果变差,所以本论文提出了基于自编码和SEblock的无监督异常行为检测方法。该方法首先使用堆叠的小尺寸空间卷积学习视频数据的分层特征表示和ConvLSTM模块融合空间信息和时序信息;然后,通过SEblock模块抑制冗余信息,增强主要信息;最后,通过自编码学习正常行为的数据分布。实验结果表明,SEblock模块在一定程度上,能够抑制冗余信息。(2)基于自编码和光流特征的无监督异常行为检测方法。视频数据中的冗余信息主要是静止不动的背景信息。此方法在输入数据中融入光流特征,来引导模型关注运动的前景目标,忽略静止不动的背景信息。此外,模型加入了若干个微网络(micro network),来帮助模型学习更加复杂的非线性分布函数。实验结果表明,输入数据中融入光流特征,能够有效引导模型关注运动中的目标。(3)基于多示例学习和双流网络的弱监督异常行为检测方法。因为异常行为和正常行为的定义模糊,所以在没有使用监督信息的情况下,模型可能无法准确判断此行为是正常行为还是异常行为。为了解决这类问题,多示例学习方法在训练阶段加入粗粒度的监督信息,来引导模型学习正常行为和异常行为的差异。为了进一步提高异常行为检测系统的检测结果,此方法中的双流网络将视频数据的时空特征和光流特征的运动学信息进行融合,得到更好的视频数据特征表示。实验结果表明,双流网络融合时空特征和光流特征,有效提高了异常行为检测效果。本论文所提出的三种方法在UCSD ped1、ped2、Avenue、Subway Exit、UCF等公开数据集上进行实验,并对比其他同类算法。实验结果表明,三种方法均可以取得良好的结果。