近些年来,深度学习飞速发展并且在机器视觉、自然语言处理和语音识别等领域取得突破性进展。同时随着社会发展,安防设备开始大量应用到城市安防中以及城市人口的剧增,这些都给城市安防工作带来了巨大的挑战。目前有一些基于安防监控视频的异常行为分析研究,但是在处理实际的监控视频上还没有较好的分析方法,因此研究基于视频对象的异常行为分析系统对城市安防具有十分重要的现实意义,而深度学习技术的快速发展也给这种系统的实现提供了可能。因此基于深度学习技术,本论文将从以下方向展开:首先研究基于深度学习的目标检测算法Faster-RCNN,结合现实场景的需要进行修改优化。在通过ImageNet数据预训练的模型的基础上,根据来自现实场景的数据和公开数据集数据进行迁移学习训练,并利用现实场景数据进行检测同时进行网络结构参数的优化和修正,构建适合现实场景需求的目标检测模型。另外对目标跟踪算法KCF算法进行改进,引入多尺度目标框来构建更有效的跟踪器。然后基于上述改进的目标检测和目标跟踪算法实现异常行为分析。使用上述改进的目标检测算法对视频数据进行目标检测,利用检测得到的目标框初始化KCF跟踪器,通过跟踪器跟踪目标来降低目标检测的频率,从而提高整体运行速度。在跟踪器得到目标区域和运动信息之后,结合现实场景需要设计异常行为分析模型,完成人数超限,人群聚集,快速运动和区域入侵的异常行为建模工作。最后构建异常行为分析系统,该系统完成对视频数据的自动化分析,实现对监控视频数据的异常行为分析预警。该系统通过监控视频数据的接入和管理,一方面能够展示监控视频,另一方面使用异常行为分析算法实现对监控视频的异常行为自动分析预警。本系统能够有效的利用监控数据,实现监控数据的自动化分析预警,提高安防工作的效率并能够有效的预防安全事故的发生。