在智能交通管理系统中,为了弥补在复杂的现实场景中车牌识别的不足,颜色作为视觉信息中重要的表达形式,使得车辆颜色识别成为重要的研究内容。然而,复杂的场景中车辆颜色识别面临着诸多挑战。例如,多种颜色类别之间难以区分,同时车身的固有颜色容易受到天气和光照的影响。为解决以上问题,本文基于深度学习研究颜色特征提取并实现车辆颜色识别。我们提出了一种基于残差学习的多尺度全方位特征融合卷积神经网络(MCFF-CNN),通过该网络提取深层颜色特征。首先,MCFF-CNN网络通过残差映射,重构网络层的学习函数。第二,合并同一深度不同尺寸的网络层输出特征,实现图像特征的多尺度融合。最后,将不同深度网络层的输出特征进行归并,实现局部特征与全局特征的融合。MCFF-CNN网络的设计不仅考虑了计算的效率与实用性,且内存占用率较低,提高了网络的学习性能,利用MCFF-CNN网络提取的车辆颜色特征表现出良好的鲁棒性。为了评估所提出的车辆颜色识别系统的有效性,我们进行了大量的实验验证。实验结果表明,我们的方法比当前车辆颜色识别的方法具有更优的性能。