随着机器视觉技术的高速发展,自动驾驶、视频监控和机器人自主导航等智能应用越来越多地依赖于精准有效的行人运动分析结果,行人运动分析、行人行为理解逐渐成为了研究热点。尤其是在智能交通领域,捕捉到一定范围内的行人并对其运动状态进行预判对提升道路交通安全具有重要意义。然而,行人作为交通场景中的一类弱势参与者,其外形本身所具有的不规则性、运动背景的复杂性、移动时的不确定性都为分析行人运动、预判行人状态带来了较大的困难,即便经过多年发展,基于计算机视觉的行人运动分析技术已经取得了一定突破,但仍有提升空间。因此,研究基于视觉跟踪的行人运动轨迹预测方法具有较高的理论和实际应用意义。本文研究基于视觉跟踪的行人运动轨迹预测方法,主要内容如下:(1)行人检测方法:提出了一种基于鲁棒交替AdaBoost算法与改进非极大值抑制(Non-Maximum Suppression,NMS)算法的改进型聚合通道特征(Aggregate Channel Features,ACF)行人检测方法。在ACF行人检测算法的基础上,使用鲁棒交替AdaBoost算法替换ACF中的经典AdaBoost算法;对于原ACF算法中的NMS算法,提出了尺寸高度商、检测得分商等变量,以及外层窗口留存(Outer Window Retention,OMR)机制,形成策略融合的NMS来确定检测窗口,由此新的ACF行人检测算法,并将改进后的ACF用于训练分类器和图像行人检测。通过在公开数据集与自采集的行人图像数据集上进行实验,验证了改进的ACF具有较好的鲁棒性,降低了行人漏检率、误检率。(2)行人跟踪方法:提出了一种基于改进的跟踪-检测-学习(TrackingLearning-Detection,TLD)和状态转移策略的行人跟踪方法。针对TLD跟踪模块中的光流法(Lucas-Kanade,LK)易在跟踪过程中产生漂移的问题,引入基于简单模板更新机制和遮挡处理逻辑的扩展LK方法,在多个图像尺度上重复扩展LK方法来增强目标函数的收敛范围,形成改进的TLD算法。使用(1)所提出的行人检测算法检测到图像中的行人后,再用改进后的TLD算法进行行人跟踪,对每个行人的生命周期采用马尔科夫决策过程(Markov Decision Process,MDP)进行建模,最后,使用匈牙利算法将跟踪结果与检测结果相关联,得到行人在此过程中形成的运动轨迹。通过在公开数据集上与自采集的行人视频数据集上进行实验,验证了改进后的多人跟踪算法的部分指标有提升。(3)行人运动轨迹预测方法:设计了一种基于社交-距离感知长短期记忆网络(Long Short-Term Memory,LSTM)与视觉注意力机制的行人运动轨迹预测方法。基于LSTM网络,增加社交-距离感知池化层,得到SD-LSTM,对局部邻域内的行人间的交互进行建模,而后采用时空图,引入视觉注意力机制,对人群中所有行人运动状态的变化进行全局建模,在行人跟踪的基础上进行行人运动轨迹的预测。通过在公开数据集与自采集的行人视频数据集上进行实验,得到相对较小的轨迹预测误差,能在一定程度上实现行人运动轨迹预测。本文通过对ACF算法进行改进,使得行人检测准确率有一定的提升;通过对TLD中跟踪模块进行改进、并将改进后的TLD用于基于MDP的多目标跟踪中,使得部分性能指标得到提升,最后将跟踪到的行人历史位置信息输入到基于社交-距离感知LSTM和注意力机制的轨迹预测网络中,得到预测的行人位置,在一定程度上实现行人运动轨迹预测。本文将行人检测、跟踪、运动轨迹预测组成一套顺序化的流程,对行人运动分析技术做了一次探索。