行人检测一直是计算机视觉领域的研究热点,近年来随着深度学习研究的快速发展,行人检测已被广泛应用于自动驾驶、智能安防和智能机器人等多个领域,这使得行人检测在学术界和工业界都受到了越来越多的关注。行人检测要在给定的图像或视频帧中通过相关检测算法找出其中所有的行人,并用矩形框的方式标记出他们的位置和大小。但在实际应用场景(如自动驾驶和视频监控)中,待检测图像通常会由于光照、摄像设备、障碍物以及多行人等因素的影响,从而产生背景干扰、行人尺度过小和遮挡等严重降低行人检测性能的问题,尤其是小尺度行人以及行人的遮挡,一直是困扰行人检测研究的难点。本文针对行人检测的典型问题,选择Faster R-CNN(Region-based Convolution Neural Networks)目标检测网络进行改进,讨论检测精度更高并对于非理想检测环境更具有鲁棒性的基于深度学习的行人检测算法。具体研究工作的内容及结果如下:(1)为减少现有检测算法以及Faster R-CNN对于小尺度行人大量漏检的情况,提出一种新的Faster R-CNN深度学习网络检测算法。它采用了一种基于双线性插值的对齐池化方式以避免在感兴趣区域池化中两次量化操作带来的位置偏差;并提出一种基于级联的多层特征融合策略,将具有丰富细节信息的浅层特征图和具有抽象语义信息的深层特征图进行融合,以解决小尺度行人在深层特征图中特征信息不足的问题。实验结果表明,在INRIA和PASCAL VOC2012中的小目标行人数据集上,相比于Faster R-CNN,在检测效率相当的条件下,平均准确率(AP)分别提高17.58%和23.78%。(2)在上述研究的基础上,为提高算法对于遮挡行人检测的鲁棒性,尤其是在密集人群场景下行人之间的互相遮挡(即行人自遮挡),通过分析实际检测中的错误案例发现:Faster R-CNN仅在原回归损失函数的约束下无法精准定位互相重叠的行人,导致了自遮挡行人的漏检,因此考虑从损失函数的角度来进一步优化检测网络。本文引入了一种具有对相邻检测物体具有“排斥力”的回归损失函数-Repulsion loss(排斥损失函数),并重新训练检测网络。实验结果表明,在Occlusion-person遮挡行人数据集和INRIA数据集上,相比于已改进的Faster R-CNN[43],在检测效率相当的条件下,平均准确率(AP)分别提高了6.07%和1.42%。