通过分析唇部动态识别出说话者的表达内容是唇语识别的基本目的,其在人机交互领域是广受关注的研究项目。由于传统唇语识别模型具有速度慢,训练难度大的特点,在基于不同场景的唇语识别技术上需要大量的人工设计与经验性处理。所以本文选择基于深度学习建立唇语识别模型,但是在资源紧凑的设备上,大部分性能优异的卷积神经网络都无法展示自己的高效识别能力。因此,卷积神经网络的压缩与加速成为众多学者的热门研究课题,经过网络压缩,可以降低模型对设备的计算和存储资源的使用率。其中,使用较多的方法是对网络进行剪枝,剪枝可以减小网络性能的损耗,通过设置判断标准有效去除参数,达到降低冗余信息的目的。本文提出基于结构化的网络压缩与加速方法用于卷积神经网络,融合剪枝后的卷积神经网络和循环神经网络并将其应用于唇语识别系统。本文具体工作内容如下:1、扩充自制的唇语数据集,对原视频进行关键帧提取与唇部区域的定位等预处理操作。首先对录制好的数据集视频进行半随机关键帧提取,将视频转为可以输入网络模型的静态图像。随后,使用MTCNN算法检测出人脸区域并对不正常角度的进行矫正,再应用Dlib人脸68关键点检测方法,通过唇部关键点精确定位嘴唇区域。2、网络模型压缩与加速是本文的主要部分。利用剪枝的方法对性能好但是模型参数量较大的VGG16网络进行压缩。本文提出基于结构化的通道剪枝方法,引入批量归一化层的调节参数,使其与网络通道权重联合训练的值作为剪枝的衡量标准,建立通道重要性排序,通过设置全局阈值对排序后的通道进行修剪,该方法利用了网络中存在的批量归一化层对网络具有提高性能和收敛性的特点。3、循环神经网络是在时间序列上的有向展开。本文利用循环神经网络来解决唇语视频抽帧后图像间存在的语义信息的问题,由于输入的唇语数据是时间序列图像,具有上下文语义,针对此现象循环神经网络可以解决时间序列的上下文特征提取。梯度不稳定是传统循环神经网络不可忽视的问题,本文选取双向长短时记忆网络（Bi LSTM）来学习唇动序列特征。在剪枝后的卷积神经网络完成特征提取后将其输入Bi LSTM中学习时序特征语义信息。4、最后将经过本文设计的剪枝后卷积神经网络和Bi LSTM融合的网络架构（Prune-VGG16+Bi LSTM）,通过Softmax层输出识别出的唇语预测结果。将基于不同阈值剪枝后的网络与原网络的各方面性能进行对比,分析结果。