自动驾驶技术作为智慧城市和智慧交通的发展重点,越来越被人们所关注。我们目前的自动驾驶技术正处于L0至L5级别的过渡时期,在向最高级别——完全由系统自动控制完成驾驶任务过渡的时候,这需要一个过程。在这个过渡时期必然少不了交警同志和驾驶人员的指挥与控制。针对应用环境中行人对交警检测的干扰、拍摄距离远和相机抖动造成的目标无法识别和手势轨迹维度高数据量大识别实时性差等问题,本文设计了以下方案:首先进行交警的识别与定位。交警的识别与定位作为交警手势识别的前提,其识别的准确与否直接关系到本项目的实用性。本项目结合实际应用场景,决定以交警的衣服和腿部作为检测目标。将Haar-Adaboost的方法作为级联分类器的前面部分。然后将改进的Sobel特征,HSV颜色特征和轮廓特征用于级联分类器的后面部分,训练得到最终的级联分类器。实验结果显示,本方法相比于传统单一的Haar-Adaboost检测方法,其平均检测率提高了8.1%,同时平均误检率降低最为明显,由原来的41.5%降为9.2%。在获得交警的位置信息之后,针对实际环境当中拍摄距离较远,和拍摄时摄像机抖动造成图像的分辨率太低且模糊不清的问题,本项目设计了一种计算复杂度低,实时性高的图像超分辨率算法:首先,进行图像配准,得到相邻两帧图像间的亚像素位移信息。然后使用加权最近邻插值法得到较高分辨率的图像。最终,通过Wiener滤波对图像进行去模糊,以获得之后的高分辨率,高辨析度的图像。为后面的手部跟踪和识别打好基础。手部检测部分采用了深度学习的方法:对CPM网络进行训练得到用于检测人体关键点(双手和头部)位置信息的网络模型,然后计算双手和头部的相对位置。由于利用简单地训练模型检测手部很难获得良好的结果。通常,由于光和皮肤状物体的干扰,导致识别精度低,误检率太高,因此本文采用卡尔曼滤波器的二阶形式(?-?滤波跟踪)对连续视频流中的手势进行跟踪和滤波。提高了手部检测的准确性,为更加准确的手势轨迹识别奠定了基础。最终实验结果统计显示,其关键点检测率从91.4%提高到了97.9%。最后,在手势运动轨迹识别部分中,通过利用得到的手部相对于头部的位移信息作为特征来对隐马尔可夫模型进行训练。在实验过程采用由简单问题入手,逐步深入的方式。首先对单手进行实验,同时通过对手势轨迹的方向和位移进行量化的操作,将复杂的高维度的手势序列信息进行简化,在降低了特征维度的同时提高了识别的正确率。在得到单手手势模型之后进行双手的手势轨迹识别实验。实验结果显示,八个交警指挥手势的识别率达到了98.0%。