随着监控视频数据的日益增长，人工分析视频的方式耗费人力的同时也增加了安全保障的成本，越来越不能满足实际需要。此时，智能化的视频分析方法显得尤为重要，异常检测作为其中的一个研究方向受到广泛关注。异常检测就是通过对视频的分析检测出其中出现的目标异常行为、异常事件。视频中运动目标的轨迹包含了丰富的时空信息，可以用来推断目标的行为特征，有很高的研究价值。然而，目前常用的基于轨迹的分析方法大多算法复杂，停留在理论分析阶段。本文在研究了基于轨迹的异常行为检测的常规步骤的基础上，提出并实现了从目标的可靠轨迹提取到异常行为建模并检测异常的实时行人异常行为检测系统。系统主要包括运动目标的实时检测，稳定跟踪并提取轨迹，轨迹特征提取与学习和异常行为检测四个阶段。首先，本文运用改进的混合高斯模型进行前景检测，引入带信任度的高斯分布和可变的学习率，加快了模型对场景的学习速度和背景建立过程。由于被检测为前景的阴影会使得目标形状不规则且范围较大，影响跟踪过程，因此本文使用颜色空间的基于最大色度差的方法进行阴影消除，获得更精确的目标形状，降低了前景区域发生遮挡的概率。然后，对目标的稳定跟踪进行了研究，提出了结合前景位置匹配与均值漂移算法的目标关联方法，根据在跟踪过程中可能出现的不同情况将目标分成若干种状态，并通过有限自动机进行状态管理，条件发生促使状态转移，目标从进入视野到最后离开的整个过程都会得到相关记录，因而可以提取出完整、可靠的轨迹信息。同时，对于场景内的静止目标设置计时器，检测目标是否过久停留。最后，提取出每个轨迹点的速度、加速度、轨迹长度异常增长等信息组成固定长度的特征向量，构建自组织特征网络对这些特征向量进行训练学习，得到场景区域内正常轨迹点的一般特征及其拓扑结构，通过比较正常轨迹点与待检测轨迹点的特征值来判断轨迹点是否异常，将含有多个异常轨迹点的轨迹判断为异常。本文提出的方法能够快速的检测异常轨迹点，进而对可疑的行人轨迹实时预警。通过对一个露天停车区域拍摄的视频上进行的实验表明，该方法对异常轨迹具有较好的检出率。