目标检测和跟踪作为计算机视觉领域的重要组成部分,在当今社会的各种领域下有着极为广泛的应用。但传统算法大都基于手工挑选特征,存在着准确率低、泛化性差的问题,极大地制约了相关算法的应用展开。深度学习由于其背靠大数据所建立的深层神经网络更能表征特征的本质,相对于手工特征,具有更强大的泛化能力,其最终的表现效果也远好于基于手工提取的特征。因而基于深度学习的目标检测和目标跟踪算法在精度上相对于传统算法具有显著优势。本文秉承了深度学习思想,以课题组的履带式移动机器人和四旋翼无人机的路径规划及协作交互过程中的视觉需求为应用背景,研究了基于深度学习的目标检测和跟踪问题。具体工作内容如下:首先,研究了基于传统手工提取特征的目标检测和跟踪算法的组成和原理,对可能存在改进的切入点进行了分析和总结。同时提取概括了深度学习的相关基础知识,对卷积神经网络的基本架构和提取特征的能力进行了验证分析。然后,为保证实验中实时性的要求,选取了相对于区域推荐法速度更快的网格类目标检测算法框架YOLOv3作为主要研究的目标检测算法。相对于传统目标检测算法,从特征提取、候选区域、分类等方面进行了全方位的优化改进,并基于Darknet框架对标注的7类路标数据集进行了训练,最终的检测效果在准确率、交并比、实时性等各方面上基本满足设计要求。最后,针对经典目标跟踪算法在复杂环境下会产生跟踪丢失或者跟踪偏移,而纯深度学习目标跟踪算法实时性较差的问题,采用相关滤波原理与深度学习相结合的思路,将相关滤波视为神经网络中特殊的相关滤波层,在离线训练过程中编码先前的跟踪知识并构成定制的特征提取器,同时并接以轻量卷积层。基于相关滤波的计算保证的算法的速度,卷积层所提取的特征提高了准确度,同时由于所设计的轻量级网络,保证了在GPU下算法的实时性。