论文部分内容阅读
计算机辅助语言学习系统是一种重要的E-learning系统,其研究与实现受到了国内外的广泛关注。本论文重点针对面向英语语言学习的计算机辅助语言学习系统中的反馈技术展开深入研究,旨在使学习系统为学生提供更生动的交互式语言学习场景,能够像老师一样准确有效地帮助学生发现具体英语发音中存在的问题,并给予个性化的指导。本文围绕学习者在发音中存在的舌位、口型和发音方式上的错误以及重音错误,重点研究如何对具体的发音口型、舌位和发音方式错误进行准确和高效反馈的方法,对学习者提供类似于教师的指导和帮助。首次提出了一种新的面向语言学习的听觉和视觉双模态的夸张表现力语音反馈方式,并进行了双模态夸张表现力语音生成方法的深入研究,取得的主要创新性研究工作如下: (1)根据语言学知识对常见的不易察觉的发音错误进行分析,总结了发音错误的原因,以及具体在发音舌位、口型和发音方式上的错误类型。对元音和辅音发音的声学参数和发音器官运动参数进行了全面分析,为后面进行双模态的夸张表现打下基础。 (2)将重音相关的发音信息通过神经网络建模用后验概率的形式进行特征表示用于重音检测,通过挖掘发音信息改进了重音检测的特征。并提出一种基于自动上下文算法(auto-context)的重音建模方法,改进了重音的声学模型性能。 (3)提出了一种具有夸张表现力的语音合成参数调整方法,实现对发音口型、舌位及发音方式错误和重音错误在听觉模态的夸张表现。听感知评价实验表明,听觉模态的夸张提高了学生对不易察觉的发音错误和重音错误的认知正确率。 (4)提出了基于关键帧的二维口腔视位模型和发音轨迹驱动的三维发音头模型的两种发音运动夸张表现力合成方法。分别利用图像变形技术和发音轨迹调整方法对发音器官模型的动作幅度和变化速率进行增大。视听联合的感知评价实验表明,增加视觉模态的夸张表现能够使得学生对不易察觉的发音错误的认知正确率进一步得到提高。 通过听觉和视觉双模态的夸张语音反馈机制,本论文实现的计算机辅助语言学习系统能够使学习者发现自己发音中存在的口型、舌位及发音方式错误和重音错误,并能够像教师一样能够给予学生针对性的实质帮助。视听感知评价实验表明,听觉和视觉双模态夸张语音表现力反馈方式有效地提高了学生对具体不易察觉的发音错误的认知能力,使系统达到了国际先进水平。