多光谱行人检测已经成为自动驾驶、安全防卫等全时段运行与监控的关键技术之一,而基于深度学习的多光谱行人检测技术也已经成为了多光谱行人检测研究中的重中之重。目前存在的基于深度学习的多光谱行人检测技术相较过去虽然已经有了长足的进步,但仍存在以下不足:1.目前存在的多光谱行人检测模型大多直接将原始的可见光图像与热红外图像作为输入,但通过热红外相机直接获取的热红外图像会受到道路上其他热源或物体因光照变热的干扰,这会产生热红外图像背景复杂,物体区域暗淡不均等问题。此外,由于在一般情况下道路场景中行人目标相对整个图像中其他背景目标较少,目前存在的数据增强方法用在行人检测领域时可能会发生丰富背景的同时造成行人目标丢失的问题。2.目前存在的多光谱行人检测算法中在融合方式上往往通过整张图像总体的光照强度来设计可见光与热红外模态融合权重,忽略了局部阴影的情况,因此需要设计一个适合于两个模态根据局部信息自适应调整融合权重的融合方法。3.目前的多光谱行人检测算法在自动驾驶运行较快时存在检测精度达到时检测速度不够快,寻求一种在保证检测精度的前提下尽量提升检测速度以达到速度与精度最佳平衡。针对以上的问题,本论文分别从以下几方面进行研究:1.提出了使用低通滤波技术对热红外图像进行增强处理。通过使用低通滤波方法对热红外图像进行处理可以减少背景热源带来的干扰噪声。另外,提出了一种数据增强算法限制合并混合（Limt-Merge Mix）,在模型进行训练之前对两张图像上下区域无关背景信息进行裁剪,将剩余图像及标签进行上下合并,同时合并热红外相邻两张图像以及可见光相邻两张图像作为新的训练数据对模型进行训练,在有效丰富背景信息的同时,不会丢失待训练的行人信息。2.提出了一种自适应加权的多光谱融合网络来融合两个模态的不同信息。多光谱融合网络设计中双特征提取主干提取的特征图在进行融合之前插入了通道注意力和空间注意力机制模块（CBAM）。在融合阶段创建了一个新的自适应两个模态的加权机制,并对加权后的特征图使用了显著性特征检测模块（Pi CANet）来对全局或者局部感兴趣目标进行加强。在YOLOv4的损失函数中加入了Focal Loss以解决行人检测中样本不平衡的问题。所提出的多光谱融合网络模型在KAIST数据集上对全时段平均精度（Average precision）达到90.03%,在每张图片的平均假阳性个数（False Positive Per Image,FPPI）的对数值取10-2～10~0时平均对数丢失率（Log-Average Miss Rate）为8.56%,比CS-RCNN检测模型在检测效果的平均精度指标高0.09%、平均丢失率指标低0.31%。3.提出了将跨阶段局部化设计应用于YOLO Neck结构中,减少模型参数,降低模型计算量,在具有多尺度检测能力的同时提高模型检测速度。在多光谱融合网络结构的多尺度融合网络中进行了跨阶段局部化设计,对比原始YOLOv4模型,改进后的多尺度网络模型不仅可以通过自底向上的特征增强路径来丰富网络特征层次,还极大的降低了模型的参数量以及计算量。相比使用原YOLO Neck的模型,通过CSP降维的YOLO Neck相比原来浮点运算量降低了14.1%,模型体积减少了23.2%。对改造YOLO Neck后的网络模型进行实验,单张图像的检测速度达0.034s,比CS-RCNN检测模型在检测单张图像时的速度快0.058s,满足自动驾驶实时检测的要求。