作为目前计算机应用领域的研究热点之一，行人检测与跟踪技术首先把行人从图像中分割出来，然后对分割出的行人进行跟踪，分析行人的姿势以及运动趋势。当前，行人检测与跟踪技术大多采用单摄像头，从一幅图像中检测出行人并对其跟踪，从三维世界到二维图像，损失了一维信息。因此双目视觉的研究在目标检测、目标跟踪、三维信息恢复等领域具有十分重要的意义。从目标检测的国内外研究现状出发，分析和比较了目前常用的目标检测算法的优势和不足。针对这些优势和不足提出了基于视差背景差分法和灰度背景差分法相结合的方法，可以更精确的检测出目标，并为人体三维重建提供有效的三维信息。针对目前对三维人体关节点的提取和匹配研究大多是通过人工干预实现的，实现了三维人体关节点的自动提取。首先利用APAR区域法在目标检测的基础上提取行人二维特征点，再利用摄像机标定和立体匹配技术实现对二维特征点的三维重建，最后利用三维人体模型和人体约束条件提取16个三维人体关节点，并用直线段相连，重建行人姿势。对行人进行跟踪时，采用卡尔曼滤波器对三维人体关节点位置进行预测，建立相邻两帧图像的三维人体关节点匹配关系，并当出现行人运动轨迹的快速改变或人体自遮挡而造成的跟踪错误时，利用人体约束条件进行修正跟踪结果。通过实验实现了基于视差背景差分法和灰度背景差分法相结合的方法检测出目标。同时，在摄像机标定和立体匹配技术基础上，利用三维人体模型和人体约束条件实现了三维人体关节点的自动提取，并重建了行人姿势，得到了很好的效果。最后实现了基于卡尔曼滤波器的三维人体关节点跟踪算法，实验结果表明，能有效地对具有复杂动作的行人进行跟踪，并能从跟踪错误中恢复。