随着四旋翼无人机（以下统称为无人机）在民用市场的迅速普及,无人机“黑飞”事件频出,对公共安全造成极大威胁,因此如何快速有效的识别并跟踪无人机显得尤为重要。在现有的无人机识别与跟踪技术中,基于视觉算法成本低且易实施,因此研究基于视觉的无人机识别与跟踪技术具有重要意义。但是目前基于视觉的无人机识别与跟踪技术同样面临诸多挑战,例如无人机飞行过程中容易出现尺度变化等问题,都会给识别和跟踪算法带来一定的困难。针对这些问题,本文主要研究基于视觉的无人机小目标识别与跟踪算法,具体包括以下几个方面工作。首先,针对网络模型需要在算力低的嵌入式平台进行部署,而目前轻量化神经网络模型存在对小目标识别能力不足的问题,本文在YOLO v4-tiny的基础上,提出了YOLO v4-UAV＿D模型。该模型对YOLO v4-tiny网络的输入层、网络结构、Anchor框以及检测头进行优化,以提高网络对小目标的识别精度;为了保证网络模型运行的实时性,本文使用深度可分离卷积对标准卷积进行替换,减少了网络模型的卷积计算量,保证了网络的实时性。同时为了验证优化后的网络模型性能,本文制作了9287张包含无人机目标的UAV数据集,优化后的网络模型在UAV数据集的2055张图片测试集上达到了81.87%的识别准确率,相较于YOLO v4-tiny模型提高了23.71%。其次,针对无人机在飞行过程中因尺度变化而造成的跟丢问题,本文在KCF算法的基础上,提出了YOLO-KCF算法。该算法将跟踪分为近距离跟踪和中远距离跟踪两个阶段。在近距离跟踪时针对无人机容易在视野中丢失这一问题,本文采取旋转框对无人机的姿态信息进行预测,从而获取无人机飞行动向,同时对前后帧无人机的相似度进行计算以保证跟踪过程中的唯一性。在中远距离对无人机进行跟踪时,针对KCF算法模板大小不随跟踪的过程发生改变,从而不能适应无人机飞行过程中的尺度变化这一问题,本文通过定时对无人机位置进行检测,当KCF模板发生漂移时,对KCF模板进行初始化,以确保对无人机进行稳定跟踪。最后本文在Jetson TX2嵌入式平台对算法模型进行部署,并使用大疆M100以及Parrot无人机作为样本对算法的性能进行验证。实验表明,本文提的方法能够有效地对小目标无人机进行识别和跟踪。