基于视频的行人检测、跟踪与计数研究是计算机视觉领域的一个热点研究方向，该研究在交通安全、实时客流统计、智能监控等领域都有着广泛的应用前景。然而，由于检测环境中光照条件的差异性，行人与非行人样本在数量上的非均衡问题，以及遮挡和干扰等其他因素的影响，该研究仍面临着许多困难，检测精度及检测方法的稳定性都有待进一步提高。本论文研究行人检测与跟踪中的若干关键问题，主要包括：有效的行人特征提取算法；同时考虑样本非均衡性和弱分类器多样性的分类算法；分类算法中关键参数取值动态寻优方法；高效的分类器搭建结构实现；基于颜色、纹理及空间信息的快速行人跟踪方法；多行人跟踪数据关联方法以及基于行人检测与多行人跟踪的行人计数方法。具体工作如下：1.提出一种双层差异特征提取算法。该特征的上层子特征由改进的ABH行人特征构成，ABH特征通过引入局部二元模式的思想对二值化后的Haar特征加以组合，在保持特征实时性高的同时，有效的增强特征的光照不变性，用于对行人目标进行快速检测定位；然后，利用Edgelet特征作为下层子特征验证ABH特征所提取行人的有效性，降低虚警和遮挡对检测的影响。2.提出一种基于CS-SVM的非均衡Gentle AdaBoost分类算法（DGACS分类算法）。该算法首先引入代价敏感的SVM (CS-SVM)分类算法搭建弱分类器，并利用非均衡Gentle Adaboost算法规则将弱分类器组合为强分类器，使其有利于解决正负样本数量不均等的行人分类问题；然后，通过动态调整CS-SVM的核函数参数取值来实现弱分类器多样化的目的，并制定相应规则剔除相似度高的弱分类器，增强弱分类器之间的差异性，从而进一步提高算法的分类性能。3.由于代价敏感值的选取对DGACS分类算法的性能影响较大，提出一种动态代价敏感参数寻优方法来选取适宜的代价敏感值。该方法利用本文提出的一种新的优化算法——基于T变异的混沌粒子群算法，以正负样本正确分类的最佳折中作为寻优原则，在代价敏感权重值的取值区域内动态寻找全局最优解。4.建立一种基于分级树状结构的组合分类器搭建方式，采用“由粗到精”的检测思想来逐级检测行人。其中，粗级组合分类器采用完全二叉树结构组合分类器，用来迅速排除大量简单易分类的负样本，筛选出正样本和疑似正样本的负样本作为候选对象；精级组合分类器采用一个串联树结构，用来对筛选后的候选对象进一步的精确分类。5.提出一种基于融合颜色、纹理及对应子空间信息的快速粒子滤波行人跟踪算法。首先，提取目标行人的空间信息并细化成头部、上身、腿部三个局部子区域；其次，利用改进的纹理及颜色信息提取算法提取对应目标子区域中的联合纹理、颜色信息；最后，通过基于空间划分的颜色纹理相似度指标来判断跟踪目标的位置，实现准确跟踪。考虑到多线索信息融合算法所需粒子数目较大、计算效率低的问题，提出使用波面扫描的积分直方图计算方法来提高运算速度。6.对基于k-best MHT算法的多行人数据关联算法进行改进，通过改进目标航迹的生成及选择方式，从源头上排除部分可信度低的航迹；对假设管理环节加以改进，在假设矩阵生成前先对量测进行分组，并以组为单位进行假设矩阵的修剪与合并，降低所产生的假设矩阵的维数。在行人检测及多行人跟踪的基础上搭建行人计数系统，通过检测计算图像初始帧监控区域内行人数量以及后续区域内的行人进出数量计算得出监控区域内实时行人数量，实现区域客流量信息的实时统计。