手语视频翻译技术是一种将手语视频翻译成文字的方法,不仅可以解决聋哑人群体和正常人交流的问题,也能打破不同国度和不同语种间的手语界限,实现不同人群的有效交流。同时,由于以深度学习为代表的人工智能技术正在快速进步,不断地向贴近大众生活的方向发展,因此基于深度学习技术的手语视频翻译研究正成为研究者争相研究的热点。本文基于时域卷积网络(Temporal Convolution Network,TCN)和双路门控单元(Bidirectional Gated Recurrent Unit,BGRU)提出了 一种双路并行的时序学习模型。该时序学习模型一方面利用TCN来捕获短时的局部相关性信息,另一方面利用BGRU来捕获长时的上下文信息,从而充分利用视频帧之间的时序信息。在将两路网络进行后端融合后,利用级联时序分类(Connectionist Temporal Classification,CTC)函数对来整个时序学习模型进行端到端的训练。该模型在德国手语天气数据集上较单一的TCN或BGRU较好值相比,降低了 0.3%的词错率,有效验证了本方法的合理性。此外,本文针对手语视频中监督信息不足(视频片段和标签无法精确对齐)问题,基于最大期望算法(Expectation-Maximization Algorithm,EM)的思想,提出了一种基于伪标签的监督学习的手语翻译方法,即伪监督学习。该方法首先用预训练的3D-ResNet提取手语视频的神经网络特征,采用了 BGRU与CTC进行端到端的优化并使用CTC解码生成伪标签;再用伪标签与对应的视频片段进行特征优化的监督学习,交替特征优化和CTC时序解码学习两个阶段直到模型收敛。基于伪标签监督学习的手语翻译方法在德国手语天气数据集上取得了 40.9%的词错率,验证了方法的有效性。