随着大数据、云计算和5G技术的成熟,人工智能逐渐突破技术的瓶颈开始快速发展。近年来,人工智能技术在汽车领域的应用尤为重要。在“城市大脑”等智慧交通中,无人驾驶汽车也正在逐渐变为现实,其中车辆识别技术是智慧交通中的重要技术之一。常见的特种车辆有工程抢险车、救护车、警车、消防车等。由于特种车辆关系到解决社会应急问题,并且法律规定正在执行任务的特种车辆具有道路优先通行权,无人车对正在执行任务的特种车辆进行避让显得尤为重要。所以在车辆识别技术中,针对特种车辆的识别的研究具有重要的价值和意义。本文利用深度学习和多模态融合技术实现了一种特种车辆识别的研究与应用。通过获取声音、图像等多通道采集的多模态数据信息,建立多模态特种车辆数据集,利用高效的云平台计算能力,设计针对特种车辆识别的深度神经网络,完成小样本数据集的特种车辆图像和音频模型的训练,在深度学习和认知计算的基础上,实现了对道路上正在执行抢险救援等应急任务的特种车辆的实时检测和识别,进一步完成特种车辆的多模态融合识别和避让决策,具体工作包括如下。(1)通过收集和处理音视频的数据,构建包含特种车辆的图像和音频的多模态数据集。其中正样本包含工程抢险车、救护车、警车、消防车的图像和音频数据,负样本为普通车辆的图像和音频数据。(2)利用多模态信息融合方法对识别结果进行决策,提高识别精确率。设计了特种车辆图像识别算法、特种车辆音频识别算法和特种车辆多模态融合识别算法,实现对特种车辆图像及音频的识别。通过获取的多通道数据信息,对特种车辆进行检测、特征提取、识别和融合决策。对于融合后系统无法准确判断的结果,提示进行人工辅助操作,确保人类在无人驾驶中的优先级。(3)开发了基于Android的特种车辆识别应用程序。主要功能包括数据采集、特种车辆识别、多模态决策融合和驾驶指令执行。数据采集主要利用摄像头和麦克风实现特种车辆的视音频数据采集等功能。特种车辆识别模块主要包括特种车辆的图像识别和音频识别,并将识别的结果传递给多模态决策融合模块进行决策和判断。在多模态决策融合模块中,实现对正在执行任务的特种车辆的判断识别。最后通过驾驶指令执行模块,根据当前车辆和正在执行任务的特种车辆的相对位置,发出相应的驾驶指令。本研究提供的多模态融合的特种车辆识别方法,可为无人驾驶设备的智能化提供一种有效参考,在当前车联网技术尚未成熟和未来有人驾驶和无人驾驶共存的环境中,相关应用的实现可为未来智慧城市和无人驾驶的应用提供有效的解决方案。