近些年来,基于计算机视觉的行人检测与跟踪技术得到了突飞猛进的发展,已有大量的应用出现在视频场景监控,目标行为分析,机器人控制,人机接口,智能交通等领域。一些比较热门而且尚处于发展阶段的应用包括汽车辅助驾驶、自主车系统、无人驾驶汽车等。由于面对越来越复杂的外部应用环境,特别是对于快速变化的环境背景,纯粹基于计算机视觉的目标识别技术正面临越来越大的挑战。就目前而言,依然缺乏一种鲁棒、精确并且快速的检测与跟踪算法。以行人检测为例,行人存在非常大的类内变化,特别是衣着、光照的显著变化,加上人体姿态和运动的随意性,以及人与人与环境之间的相互影响,和类人物体的干扰,使得当前各类行人检测算子,离复杂环境下的实际需求均还有一定差距。而对于应用范围更广的目标跟踪技术,静态背景下的相关研究已经比较成熟,而对于移动变化的背景,目前的研究还非常不足。本文的主要贡献包括以下几个方面:1)研究了单帧图像的快速行人检测算法。随着基于视觉的行人检测算法的研究深入,进一步提高行人检测算子的性能已面临非常大的困难。同时,复杂的算法带来了更高的计算复杂度,严重影响了检测系统的时效性。我们考虑在单帧图像条件下,通过适当的改进使算法在不降低时效性的情况下,进一步提高其鲁棒性。主要研究了基于Adaboost+Chn Ftrs的快速行人检测算法,通过选择不同的特征组合得到了相对最优的算子。此外,还在Adaboost的学习过程中采用了特征查找表LUT算法,大大提高了训练速度,并提高了训练数据的样本容量。2)对不同在线分类算法与目标特征模型进行了跟踪性能的测试,并提出基于Fern分类算法的在线目标颜色模型,和结构模型,经过测试取得了更好的跟踪效果。针对常用的特征,如颜色特征、结构特征、模板等,结合不同的在线分类算法建立在线目标分类模型,其中颜色特征采用基于超像素颜色直方图的SPT算法;结构特征采用基于压缩特征的CT算法,对于CT,本文也提出采用基于多通道图像的压缩特征,可改善算法效果;模板匹配采用最近邻分类器(NNClassifier)和TLD算法,通过测试指出了各种目标特征在线分类模型的适应场景和各自的不足。在此基础上,本文提出了采用Fern算法结合颜色超像素特征,和多通道空间小块特征,实现了更好的跟踪效果,可以较好地适应包括存在各种遮挡、光照变化、目标姿态变化、目标尺度变化,和背景多样变化的复杂场景。3)考虑目标跟踪的一般情况,为了更好地适应目标尺度的变化,提出采用基于粒子群优化的粒子滤波作为跟踪滤波算法,实验证明,粒子群能显著提高粒子滤波的滤波性能,并对跟踪整体性能的提高有很大作用。4)提出了一种移动背景和复杂场景下的针对行人等目标的相对实时鲁棒的跟踪算法,可处理包括目标姿态、尺度变化,光照变化,遮挡和干扰等各种跟踪场景。算法采用多元特征在线目标分类模型,结合基于粒子群优化的粒子滤波算法进行跟踪。其多元特征模型包含Fern颜色模型、Fern结构模型、以及CT自适应结构模型,各特征模型之间具有很强的互补性,综合后可达到相当不错的跟踪效果。此外,在该算法中引入基于直接模板匹配的NNClassifier作为监督模型,在不增加计算复杂度的情况下利用模板的慢自适应性抵制跟踪漂移。我们还提出了如何解决光照变化问题的方法(其中颜色模型对光照变化特别敏感),使得算法可以处理复杂光照变化条件下的目标跟踪问题。