异常行为分析是从视频序列中准确、快速地识别出异常行为,是计算机视觉重要的研究内容之一。异常行为分析具有广泛的应用前景,包括获取动作识别信息、视频监控、视频检索和公共安全分析等。近年来,诸如国内外恐怖袭击、拥挤踩踏等影响公共安全事件,频繁发生,如何快速发现并且提出应对突发异常行为和事件的高效解决方案,如何自动化的对海量视频进行分析,从而代替24小时实时监控的工作人员,是国内外公共安全保障重点关注的热点问题。那么如何在占用最少人力物力资源的情况下,还能及时发现突发事件?面对这一难题,异常行为分析系统应运而生,在计算机行为识别领域中脱颖而出。视频监控系统中的异常行为分析问题,在国内外学者的关注之下已经取得了很多研究成果。目前,已有研究通过利用人的运动轨迹、运动目标检测跟踪等方法进行行为建模和分类。但传统的异常行为分析存在一定弊端,当算法应用于海量监控视频数据时,存在识别效果差、处理速度慢和算法冗余问题,不但造成大量资源的浪费而且影响算法整体的分析效率。为此,本文对提高异常行为分析的识别精度以及减少资源占用等方面进行了深入研究。针对视频监控图像中行为人行为异常识别问题,基于深度卷积网络优化网络结构,改进了损失函数,有效提高了异常行为识别准确度。主要工作和取得的研究成果概述如下:1.基于多时间维度C3D网络的行为时序特征建模。通过研究卷积神经网络的特征提取方式,对三维卷积神经网络进行细致分析,对C3D网络进行改进。在其基础上进行时间卷积核的扩充使其构建成能够捕捉细致行为时间特征的多维时间3D卷积网络,通过作用在时域上的多尺寸卷积核,可以从复杂动作中提取多种时间范围的特征,从而增加了行为特征提取的多样性。2.基于多实例回归损失的弱监督异常行为识别。由于正常行为与异常行为之间的界限通常是模糊的,与常见的事件分类方法不同,将异常分类转化为回归问题。通过将损失函数定义为异常事件与正常事件预测概率的排序回归损失,异常事件的异常得分必须高于正常事件的异常得分,反之亦然。通过对异常和正常行为各自所属类别的得分回归排序的约束,本文提出的算法可以增大正常和异常事件的类间区分度,从而更准确地从视频事件中辨识出其中的异常事件。由于训练过程选用弱监督学习框架,只采用视频级标签,不需要异常事件的准确时间标签及分类标签,因此有效降低了算法对数据标注的要求,使得算法具有更强的拓展性和场景适应性,具有一定的实际应用价值。3.最后,为了验证基于多维时间建模的弱监督异常行为识别网络在更丰富的特征学习和提高识别准确度方面的有效性,在UCF-Crime公开行为数据集上进行了实验。实验结果表明基于多维时间模块的弱监督异常行为识别算法可以有效地提取不同时间维度的特征,提高网络识别准确度,相较于其他方法在异常行为识别任务上的效果提升1.5%。本文提出基于深度学习的异常行为分析算法,优化深度学习网络模型特征学习方法、整体网络框架及识别精度,加速识别过程,在保证识别精度的同时减少资源占用,更准确地完成对视频中异常行为识别任务及时间定位任务。