目前,由于地势地貌的复杂性和资金所需,我国许多城市仍存在部分原始铁路平交道口,在这样原始的铁路平交道口,如何保障列车以及过路行人、车辆的安全是铁路相关部门亟需解决的问题。传统的铁路平交道口安防依靠人力进行视频监控,如今随着深度学习的不断发展,这种监控方式已逐渐走向智能化。本文主要结合深度学习技术对铁路平交道口的行人、车辆检测与识别方法进行了研究,具体研究内容如下:（1）首先,针对城市中的货运铁路平交道口,本文在传统数据集PASCAL VOC2007的基础上,采用网络爬虫技术扩充了部分数据,补充了自己实验所需的货车类别,记为数据集MY,数据集扩充后共计10557张;接着,对于部分含有噪声的数据进行图像去噪和图像增强;最后,针对传统暗通道算法存在的图像颜色失真问题,提出了一种k-means聚类分割与灰度直方图结合的暗通道去雾算法,改善了铁路平交道口场景下的视频图像质量。（2）深入研究了yolo v3和yolo v4目标检测与识别模型,并针对本文研究场景分别对其进行了改进。首先,采用柔性非极大值抑制解决目标遮挡问题;其次,本文提出一种基于高级语义嵌入模块的yolo v4网络模型,实现了高、低层特征信息的复用融合;最后,针对本文所提出的改进算法进行了多组对比实验分析,验证了所提算法的有效性。（3）以本文改进后的yolo v4模型为基础,设计并实现了一个面向铁路平交道口的行人、车辆检测与识别原型系统。该系统能够对实时视频以及导入的视频进行人、车目标检测与识别,并且能够实现视频图像的去雾处理,还可以对检测到的人、车进行语音提醒,辅助铁路相关部门的交通管理。本文将深度学习技术与Py Qt5图形程序框架相结合,用于解决铁路平交道口场景下的人、车目标检测与识别,并具有语音报警功能,辅助监控人员对铁路平交道口的交通管理,对于保障列车的安全运营具有重要意义。