国民经济快速增长、社会快速进步和国力不断增强需要有稳定的社会治安作为保障,能实时分析并在危害社会治安的异常事件发生时能及时上报的智能视频监控技术受到了广泛的关注。视频异常识别作为智能视频监控技术的一个重要研究方向,其研究重点是如何从提取视频的相关特征与处理并进行异常检测。传统的视频异常检测算法所使用的特征主要为基于人工设计的动作特征。但人工设计的特征需要一定的先验知识,这样的知识主要依赖于监视目标,并且很难在不同的应用中定义。基于卷积神经网络能够在训练过程中自动地学得与任务相关特征的特点,本文提出了基于卷积神经网络的视频异常检测算法。首先,本文针对现实世界中异常事件稀少、数据采集困难的问题,提出基于视频预测的异常检测算法,在训练阶段通过无监督学习视频预测来进行有效的特征提取与行为建模,在测试阶段则使用视频预测模型对视频进行预测,根据预测结果与真实结果之间的预测误差实现视频异常检测。在视频预测网络中提出以自编码结构实现视频的特征提取、时序建模以及预测帧的生成。采用3DCNN和LSTM结合的方法增强网络对视频动作的建模能力,并采取拼接的方法实现特征图融合以减轻特征提取过程中信息损失的问题。实验结果表明,本文改进的视频预测网络在视频动作预测上具有一定有效性,能够有效降低原网络预测结果的均方误差以及有效提高峰值信噪比。在异常检测任务上,本文改进方法也有效提高原模型的检测效果。之后设计了一种基于非深度学习模型提取的动作特征设计了一种多任务的视频预测模型,借助MOG2提取前景图以及Farneback提取光流图,使得网络能够同时预测出视频帧以及视频帧的动作特征。另外针对基于深度学习模型提取的动作特征,设计了另一种多任务的视频预测模型,借助Flownet2-SD提取光流图并用于衡量预测帧与真实帧在光流特征上的差异,通过最小化这种差异来优化视频预测网络。探讨了不同的辅助任务对不同数据集在视频预测能力以及视频异常检测能力上的影响。其中基于Flownet2-SD构造的多任务视频预测模型在UCSD Ped2数据集上得到了比当前最优的算法FFPAD更高的ROC曲线下面积以及更低的等错误率。