近年来,由于数据驱动的深度学习技术的突破,推动了自动驾驶技术在城市限定区域的落地应用。然而,出于安全性考虑,自动驾驶车辆往往采用优先礼让行人策略,这会使自动驾驶车辆在高密度的一般城市道路环境中停滞不前,造成交通拥堵。准确感知行人并预测行人的未来轨迹,是解决该问题的关键。本文重点关注自动驾驶环境感知方案中的行人检测、行人跟踪和行人轨迹预测问题,基于深度学习方法和视觉传感器,针对城市无信号控制路段的行人进行对象识别、位置获取以及轨迹预测研究,主要研究内容如下:（1）搭建了一种基于卷积神经网络的一阶段目标检测模型。当前的自动驾驶技术要求目标检测模型具备良好的光照变化鲁棒性和场景适应性。针对这一需求,以一阶段目标检测算法Yolov3为基础,构建行人检测模型。使用K-means算法对VOC2007数据集进行聚类,得到了 9个更具普适性的行人检测框尺寸,并在MS COCO数据集的基础上,添加了 INRIA Person数据集以扩充白天城市道路场景的行人样本,添加了ExDark数据集以扩充夜间城市道路场景的行人样本,最终训练得到的模型在CUHK square、CPCS、KITTI、ExDark和NightOwls测试集上对光照变化鲁棒,场景泛化性能良好,且具备较高的精度和实时性。（2）提出了一种引入全局注意力机制的行人跟踪模型。目前的TBD（Track by Detection）模式的多目标跟踪模型,因内部级联匹配效果不佳,导致跟踪过程中频繁发生目标ID切换。针对这一问题,提出将全局注意力机制引入级联匹配的表观特征提取过程。所提出的模型以SORT为基础架构,在表观特征提取网络ResNet50中加入Rga（全局注意力）模块以提升网络输出的表征能力。所提出模型在白天场景的自动驾驶数据集KITTI和夜间场景的自动驾驶数据集NightOwls上对光照变化鲁棒,场景泛化性和精度表现良好,并在MOT16基准上,较EAMIT、POI、SORT和DeepSORT四种方法,在ID切换次数等部分精度指标上取得了提升,且能够在单显卡上实现实时跟踪。（3）提出了一种状态信息共享的LSTM行人轨迹预测模型。原始LSTM单元结构仅基于待预测目标自身状态预测轨迹,导致预测结果无法体现行人轨迹的群体性和相互规避性。针对这一问题,提出一种状态信息共享的LSTM单元结构。所提出结构考虑待预测目标指定距离范围内的其他对象的状态信息,以状态信息加权和的形式加入LSTM内部长期记忆单元的构建过程。基于所提出的结构,设计了一种状态信息共享的LSTM轨迹预测模型,该模型在单显卡上能够实现实时轨迹预测,且在ETH和UCY基准上,较SF、IGP、LSTM和同样考虑了行人彼此间相互作用的Social-LSTM方法取得了最低的平均位移误差,并保持了较低的最终位移误差。（4）使用自采集的校园道路场景数据集验证了本文三个模型的性能。本文搭建的目标检测模型和提出的行人跟踪模型应对光照变化和场景变化的能力在自采集数据集上得到了进一步的验证。本文三个模型在实际的自动驾驶场景应用中均保持了较高的精度和实时性,能够满足自动驾驶领域行人检测、行人跟踪和行人轨迹预测任务的需求。