在安静环境中,语音识别模型能够达到95%以上的准确率,然而在现实环境中使用还是会有诸多问题,比如环境噪音的干扰,远场麦克风采集的音频信息信噪比过低等问题,以至于音频信号不能够满足进行语音识别的要求。这时就需要其他模态信号对音频信号进行补充。与音频信号相比,视觉信息不易受到背景噪音的影响,在说话过程中,人的脸部各个器官也会随之做出相应的变化,恰好可以对音频信息做出一定的补充。根据目前已有资料,多模态语音识别已经在英语、汉语等主流语言上展开,但是对于藏语多模态识别的研究却几乎没有。基于此现状,本文主要研究了藏语拉萨话的多模态语音识别及应用。论文的主要工作如下:1.构建藏语音视频数据集为了加快藏语拉萨话多模态语音识别的研究,本文构建并开源了一个藏语拉萨话的音视频数据集。该数据集相较于常见的音视频数据集,如TCD-TIMIT,具有录制环境更复杂,场景更多等特点,更加贴近实际使用场景。2.端到端藏语多模态语音识别基线模型本论文使用WaveNet-CTC模型作为基线模型。基于端到端语音识别技术的特点和藏语语言文字特点,我们选取藏语单音节作为本文中所有模型的识别基元。在基线模型中,我们分别将音频信息、视觉信息、音频信息与视觉信息的拼接信息送入到WaveNet-CTC模型中。实验结果显示,在自建的藏语数据集中,音频信息与视觉信息的简单融合没有改善识别效果,我们分析可能的原因是该藏语音视频数据集中,说话人的头部姿态和面部表情差异较大,影响了视频唇部运动特征的提取,音视频的拼接特征具有一定的局限性。3.基于cross-attention机制的端到端藏语多模态语音识别为了解决音视频拼接特征的局限性,更好地利用视频模态的信息进行语音识别,本文提出了跨模态注意力机制（cross-attention）,并将其用于WaveNet-CTC的端到端藏语多模态语音识别基线模型中。实验结果显示,相较于基线模型,在音频特征和视觉特征初级融合阶段引入cross-attention机制,对于语音识别的效果有很好的提升。4.基于隐回归贝叶斯网络的端到端藏语多模态语音识别为了解决音视频拼接特征的局限性,本文不仅在多模态特征的融合方式上进行了探索,而且在特征数据的表示方面进行了尝试。文中在端到端模型的输入层引入隐回归贝叶斯网络,试图从音频流的语谱图和视频流的原始图像中提取编码特征,替代输入端原来使用的人工音频特征MFCCs和唇部运动特征。根据实验结果,相较于人工选取的特征,由隐回归贝叶斯网络网络提取得到的隐特征并未有较好的语音识别表现。5.藏语音视频语音识别系统的微信小程序实现本文使用tensorflow深度学习框架和tomcat工具实现了藏语音视频语音识别功能的微信小程序。该微信小程序可以获取视频数据,返回视频数据的识别结果并在微信小程序中显示。本文通过对端到端藏语音视频语音识别进行研究,不仅补充了了藏语多模态语音识别方面的工作,同时在多模态识别模型的构建上,提出了 cross-attention 机制,有效融合了多模态特征,一定程度上解决了拼接特征的局限性,提高了语音识别准确率。此外本文还探索了在端到端模型输入端使用隐回归贝叶斯网络,使用提取的隐特征表示音视频原始数据,替代人工提取的MFCCs特征和唇部运动特征,尝试使用隐特征规避拼接特征的局限性。