随着计算机在各个领域的广泛应用,语音识别作为人机交互的关键技术越来越受到人们的重视。为了更全面的反映说话人的信息,听视觉多模态语音识别逐渐成为研究的热点。语音情感识别是多模态识别的一种,它让计算机在识别语音内容的同时又能判别说话人的情感状态。本文以基于矢量量化(VQ)算法的孤立词识别系统和基于主成分分析(PCA)算法的图像识别系统为基础,构建听视觉情感语音识别系统。孤立词识别系统包括声学层识别和语法层修正两部分。为了改善声学层识别系统的不足,本文研究了一种适用于孤立词识别、基于词汇、短句统计的2元语法规则。该语法模型由词语矩阵和短句矩阵两大部分组成,按照相应的规则对原始识别结果加以修正。测试实验表明,识别率在语法规则的帮助下有了较为明显的改善。本文从摄像设备录制的连续视频流中抓取特定时刻的人脸表情图像,经过预处理和主成分分析,与表情模板库中的样本比较,进而判别图像所属的情感类别。为了在时间轴上实现语音识别和图像识别结果的同步对应,首先在语音信号端点检测时,利用语音段之间的时间的差异产生标点符号,以标点符号的产生时刻作为图像识别程序从视频中抓取图像的时间点。再利用标点符号和图像的对应关系,把语音识别的输出结果和图像识别的输出结果进行融合,最终产生带有情感标记的语音识别结果。实验测试表明,这种综合识别系统能在识别语音内容的同时反映说话人的情感状况。