随着人们生活水平的提升,自身安全意识的增强,智能视频分析技术受到了广泛的关注。智能视频分析技术即是利用计算机图像学、模式识别、机器学习等方法对视频帧序列内容自动分析处理的技术。特定场景下异常行为检测是智能视频分析重要的研究方向。异常行为检测技术能够通过提取视频帧图像中的运动信息,自动地检测出其中不正常的行为,并且发出提醒信息,节省了大量的人力成本。近年来,室外特定场景下的人群异常事件和室内环境下的面部遮挡异常事件层出不穷,给社会造成了不可挽回的损失。本文针对这两类问题开展研究,研究工作内容与贡献如下:1.针对人群异常行为问题,提出了一种基于自编码器的实时检测方法。目前,人群异常行为检测方法大多是基于光流来表征人群运动的,这在很大程度上限制了算法满足实时性的要求。本文利用运动矢量在解压视频过程中能够实时提取的优点,提出基于运动矢量构建局部时空特征的方法。然后利用该特征在每个局部小区域训练多个自编码器。测试过程中,利用训练好的多个自编码器判断每个小区域是否有异常发生。综合每个小区域异常情况,定位出异常发生的具体位置,进而判断是否发生全局性的异常。最后,在公共数据集进行测试,本文提出的算法准确率在95%以上,每帧处理时间大约25ms。2.针对面部遮挡异常行为问题,提出了一种基于卷积神经网络的实时检测方法。目前,面部遮挡异常行为检测方法往往先定位出头部位置,然后对眼睛、嘴巴等面部器官建模,从而间接判断是否存在面部遮挡异常。这种方法容易因面部器官的模糊不清而导致误检漏检现象。本文提出对最常见的两种面部遮挡行为(戴墨镜和戴口罩)进行直接建模,进而判断是否发生异常行为。为了不影响实时性,本文在运动前景提取、头部定位、肤色检测等传统方法的基础上做出改进,准确定位出面部位置(即感兴趣区域)。实验结果表明,本文面部定位方法与面部遮挡异常判别模型相结合的算法,能够在保证较高准确率的同时满足实时性的要求。3.利用上述研究成果,设计并实现异常行为实时检测系统,对相关方法进行应用验证。