当今社会中,视频监控已成为维护治安的主要手段之一,其中监控人员最为关注的是异常事件。为了实现异常行为的自动检测,即快速定位出视频流中的异常序列区间,并对其异常行为进行识别以供监控人员参考和处理,本文研究了基于深度学习的异常行为检测方法,算法流程分为两步:一是异常时序定位;二是异常行为识别。针对由异常行为罕见性所导致的异常样本数据缺乏情况,异常时序定位环节采用半监督学习的方法来消除算法对异常样本数据的依赖性。出于异常行为难以预料的考量,模型仅学习正常视频数据的预测方式,使其能很好的预测正常视频帧,而对异常帧预测效果不佳,以此区分并定位出视频流中的异常序列。预测模型采用回溯预测的方案,通过对前向和反向预测结果施加光流、强度、梯度和对抗性训练约束来提高模型预测精度。针对异常样本数较少所导致的过拟合以及视频序列运动特征学习等难题,异常行为识别环节利用基于光流估计的行为识别模型对异常序列进行识别,其中通过光流估计网络快速计算输入序列的光流图序列,作为后续3D-Conv Net行为识别模型输入。最终异常时序定位模型在UCSD Ped2数据集上达到95.725%的帧级AUC,异常行为识别模型在异常数据集上取得94.286%的分类准确率。实验证明了半监督学习的时序定位模型能准确的定位出视频中的异常序列,可以避免监督学习在缺乏异常样本的情形下容易导致的过拟合问题。同时,结合光流所包含的丰富的运动信息以及运动主体的外观信息,3D-Conv Net的异常行为识别准确度得到显著提升。所提出的整体框架能够实现较好的异常行为检测识别效果。