针对公共安全问题的快速增长,监控设备不断增多,传统的视频监控系统难以从海量数据中及时捕获异常信息,因此智能视频监控系统应运而生。异常行为检测技术作为该系统的核心技术之一,通过借助计算机强大的数据分析能力实现异常行为实时检测并显示预警信号,避免发生重大安全事故,现已成为公共安全领域的一个研究热点。现实监控场景中,异常行为相比正常行为而言,是稀疏的、抽象的和不可预测的。其次,同一行为在不同监控场景下其异常程度也是相对的,这些特殊性使得异常行为检测更具有挑战性。基于经典机器学习的方法在解决这些问题时,其特征表示与建模过程复杂度高且鲁棒性差。随着深度学习技术的不断发展,深度卷积网络可以从大量视频数据中自动学习目标对象的优良特征,使其端到端地同时进行特征表示与模型建立,在异常行为检测领域具有明显优势。因此,本文基于深度学习技术展开研究,重点关注异常行为检测算法的适用性原则与模型结构的优化设计,目的是提升算法的准确性与鲁棒性,降低虚警率。论文的主要研究工作如下:（1）针对现有视频预测算法缺乏考虑视频中多尺度目标对象及连续视频帧序列的时间信息等问题,本文从空间维度与时间维度出发,提出一种改进的视频预测算法用于异常行为检测。首先引入混合膨胀卷积网络提取目标的多尺度表观（空间）特征;其次结合双向Conv LSTM网络获取视频帧序列复杂的运动（时间）信息。通过融合多尺度空间特征与时间信息构建预测模型,输入大量无标记的正常事件样本进行模型训练,获取能够精确构建视频内部内容及其动态变化的表征模型来预测视频未来帧,进一步提高算法的准确性。（2）综合分析现有的异常行为检测算法,由于深度卷积网络强大的学习能力和泛化能力,基于视频重构的方法不仅可以很好地重构正常行为,也能够重构异常行为。而基于视频预测的方法遵循正常行为是可预测的,而异常行为是不可预测的原则,克服了重构模型的局限性,进一步扩大正常事件与异常事件的差距。但是,经典的视频预测模型严重依赖于多个先前帧的历史信息,检测结果容易受到这些帧包含的噪声干扰。综合比较预测模型与重构模型的优缺点,本文将二者相融合构建一种新的网络模型。视频预测模型通过引入多尺度时空特征提取模块,进一步扩大异常事件的重构差异,而重构模型可以增强从正常事件预测未来帧的能力,弱化噪声对模型的干扰,从而提升算法整体的鲁棒性。（3）针对自然场景中无法穷举所有正常行为和异常行为且这两类行为在不同时空上下文环境中的定义具有相对性等问题。通过借鉴有监督技术的思想,明确标注正常行为与异常行为的方式,本文提出一种基于多尺度时空特征的弱监督异常行为检测算法,进一步降低算法对异常行为检测的虚警率。结合视频级弱标记的训练样本实现正负包与标签的一一映射,利用所得模型区分正常行为与异常行为的差异。同时,为了解决现有模型存在长时视频建模困难,时空特征提取不充分等问题。首先引入多尺度空间模块,充分利用不同层次阶段的特征信息;其次添加多尺度时间模块,有效挖掘视频帧序列的时间信息;最后结合多实例学习弱监督技术和迁移学习技术,用于提高算法的检测精度与实用价值。