对深度学习的深入研究将机器视觉带入了一个新的发展平台,将两者相关成果结合后运用到实际生活中可为人类活动开展提供新思路。无人机平台上对拍摄的视频序列进行行人检测跟踪时面临的技术难点较多,且现有的检测跟踪算法关注的大多为某个单一角度的检测跟踪性能,因而需要对现有的算法进行改进以适应当前所使用无人机平台环境。针对以上问题,本文将从无人机平台的搭建、行人检测算法的改进、行人跟踪算法的优化三个方面进行论述。首先根据任务需求,自主搭建了无人机平台。为了使无人机更能根据指令跟踪特定目标飞行采集视频信息,本文搭建了无人机实验平台,为后期到达目的区进行无人机平台上的行人检测和跟踪建立基础。其次,本文研究了基于Faster R-CNN为基本框架的行人检测算法。针对无人机获取的图像特征设计检测算法,首先基于Faster R-CNN对小目标具有良好的检测精度的基础上,将Faster R-CNN算法确定为本文基础检测框架。同时根据数据特点,采用聚类方法对行人的外形进行统计,以此改进算法中原有的锚结构。再针对行人遮挡问题,本文提出了一种新的回归损失函数,通过平衡候选框之间的位置提高在拥挤、遮挡情况下行人的检测精度。最后本文研究了基于无人机平台上的行人跟踪算法。首先从理论上针对无人机拍摄图像特点选取了计算量上具有优势的Camshift跟踪算法作为基础算法。由于行人的运动范围不集中且运动场景复杂多变,因此本文提出了一种基于多特征融合的目标模型加强对行人的描述。同时,由于不同的特征对不同物体的描述能力不一,本文设计了一种权重系数融合算法,其能根据特征的贡献程度自动赋予相应的权重系数。为了提高行人在遮挡问题上的检测精度,本文提出将Camshift算法与EKF融合的策略,通过EKF的预测机制提高对遮挡情形的鲁棒性。最后,设置遮挡判别器,旨在必要的时候进行EKF预测,减低计算量。实验表明,检测算法中的检测精度可达到98.5%,跟踪算法在行人出现遮挡后也能完成对目标的准确跟踪。