面向英语语言学习的听觉和视觉夸张表现力语音生成研究

来源 :中国科学院大学 | 被引量 : 0次 | 上传用户:tangwu2007
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
计算机辅助语言学习系统是一种重要的E-learning系统,其研究与实现受到了国内外的广泛关注。本论文重点针对面向英语语言学习的计算机辅助语言学习系统中的反馈技术展开深入研究,旨在使学习系统为学生提供更生动的交互式语言学习场景,能够像老师一样准确有效地帮助学生发现具体英语发音中存在的问题,并给予个性化的指导。本文围绕学习者在发音中存在的舌位、口型和发音方式上的错误以及重音错误,重点研究如何对具体的发音口型、舌位和发音方式错误进行准确和高效反馈的方法,对学习者提供类似于教师的指导和帮助。首次提出了一种新的面向语言学习的听觉和视觉双模态的夸张表现力语音反馈方式,并进行了双模态夸张表现力语音生成方法的深入研究,取得的主要创新性研究工作如下:  (1)根据语言学知识对常见的不易察觉的发音错误进行分析,总结了发音错误的原因,以及具体在发音舌位、口型和发音方式上的错误类型。对元音和辅音发音的声学参数和发音器官运动参数进行了全面分析,为后面进行双模态的夸张表现打下基础。  (2)将重音相关的发音信息通过神经网络建模用后验概率的形式进行特征表示用于重音检测,通过挖掘发音信息改进了重音检测的特征。并提出一种基于自动上下文算法(auto-context)的重音建模方法,改进了重音的声学模型性能。  (3)提出了一种具有夸张表现力的语音合成参数调整方法,实现对发音口型、舌位及发音方式错误和重音错误在听觉模态的夸张表现。听感知评价实验表明,听觉模态的夸张提高了学生对不易察觉的发音错误和重音错误的认知正确率。  (4)提出了基于关键帧的二维口腔视位模型和发音轨迹驱动的三维发音头模型的两种发音运动夸张表现力合成方法。分别利用图像变形技术和发音轨迹调整方法对发音器官模型的动作幅度和变化速率进行增大。视听联合的感知评价实验表明,增加视觉模态的夸张表现能够使得学生对不易察觉的发音错误的认知正确率进一步得到提高。  通过听觉和视觉双模态的夸张语音反馈机制,本论文实现的计算机辅助语言学习系统能够使学习者发现自己发音中存在的口型、舌位及发音方式错误和重音错误,并能够像教师一样能够给予学生针对性的实质帮助。视听感知评价实验表明,听觉和视觉双模态夸张语音表现力反馈方式有效地提高了学生对具体不易察觉的发音错误的认知能力,使系统达到了国际先进水平。
其他文献
分子伴侣广泛存在于各种生物细胞中,可有效的促进蛋白质的正确折叠、抑制变性蛋白聚集体的形成。近年来,由于分子伴侣在细胞生命活动的各个层次上所起的重要作用,引起了科学家的
以GaN为代表的Ⅲ族氮化物半导体材料,近年来得到了快速发展。由于其具有传统半导体材料不具备的独特的光学和电学性能,如从0.7eV到6.2eV连续可调的宽的直接带隙、大的激子束
该文对微波放大器的设计研制进行了研究.首先介绍了通信的发展对微波放大器的要求,微波晶体管放大器的发展,微波放大器设计的发展.随后分别分析了微波频段的传输线;电阻、电
在过去的15年里,人类基因组计划的开展,在生命科学领域引发了一场基因组的革命。人类基因组计划揭示出人类基因组包含不到3万个蛋白质基因,仅占整个基因组序列的2%。剩余的98%以上
近年来,随着科技的日益更新和经济的不断发展,政府机关、公司企业及各大银行机构的财产、重要文件等的安全监控问题越来越受到有关单位的重视。在这种形势下,迫切需要将带有新技
学位
瞬态电磁学在各种实际工程中得到广泛应用.该论文用时域有限差分(FDTD)方法分析目标瞬态电磁散射特性.应用FDTD方法,该文分析了自由空间实用复杂目标宽频带散射特性以及有耗
本研究选择了3种油茶植物:油茶(Camellia oleifera)、越南油茶(C. vietnamenisis)、南山茶(C. semiserrata),其中包括了4个油茶无性系:软枝油茶1号(C. oleifera‘Ruanzhi No.1)
本论文主要包括两个部分的内容,第一部分是关于几种1型核糖体失活蛋白(八棱丝瓜蛋白1、南瓜蛋白、β、γ-天花粉蛋白)的结构生物学研究,第二部分初步地研究了整合素αMβ2 I-do
该论文对完全匹配层(PML)吸收边界条件进行了详细的理论分析和数值模拟研究.结合差分方程,从理论上分析了PML层产生数值反射的根源是真空-PML和PML-PML交界面电导率的突变所