在全球化的时代背景下,不同地区人与人之间的交流也变得越来越密切,越来越多的人有着学习第二门语言的需求。然而,与此快速增长的语言学习需求相对立的则是大多数学习者都面临着教育资源缺乏的问题。因此,如何更好地提供语言学习相关的教育服务是一项非常有价值的研究。随着语音识别技术以及互联网通信的快速发展,通过计算机辅助的口语评测算法开始被应用到教学中。相比于传统课堂教学,口语评测算法具有评价反馈更客观、学习资源更充足以及学习方式更友好等优点,因此口语评测算法近年来成为了人们研究的热点。本文的主要创新包含下列三点:（1）本文提出了基于文本先验的端到端Transformer模型,解决了基于语音识别的口语评测模型无法直接优化口语评测性能的问题。目前,主流的深度学习口语评测算法基于语音识别来进行误读判定,此类算法在训练阶段并未考虑口语评测任务中的目标文本,仅从提升语音识别准确度的方向来间接提升口语评测的性能。然而,目标文本能够极大地约束实际发音的解码空间,从而使得口语评测更为准确。本文提出的模型将目标文本这一强先验信息作为条件输入到Transformer Decoder,将语音识别和目标文本的对齐过程融合在一起,从而端到端地预测错误状态。这一方法能够直接优化口语评测的性能,相比于基于语音识别这一间接优化的方法有了较大的提升。在L2-Arctic这一口语评测常用数据集上,业界主流基于语音识别方法的F1分数为0.475,本文提出的方法则提升到了0.577。此外,由于使用了目标文本作为输入条件,本方法的推理过程是前馈式的,替代了原有自回归的方式。这一工作模式显著提高了推理的速度,本方法在测试集上的推理速度提升了近9倍。（2）本文提出了基于自监督声学单位建模带口音语音特征（L2语音特征）的方法以及基于语义距离模拟误读数据的训练流程,缓解了采用监督学习直接对L2语音特征进行建模的过拟合问题。对深度口语评测模型而言,往往需要较多的训练数据才能够准确地建模L2语音特征。然而,由于口语评测需要专家对数据的实际发音进行音素级别的标注,其训练数据较为稀少,采用监督学习模型在带口音的数据上直接进行训练往往会出现过拟合的问题。目前主流方法通过数据增强或是替换目标文本的方式来解决这一问题,但此类方法并未进一步分析误读的原因,因此并不能生成更为真实的L2语音特征来帮助监督模型进行建模。为了解决该问题,本文通过自监督模型将原始音频转为语义向量,并通过k-Means聚类的方式将这些向量无监督地离散化为声学单位,从而在没有人工标注的情况下对L2语音特征进行了建模。本文进一步使用此声学单位作为媒介,根据语义距离来找出某一原始语音特征的相似发音进行替换,模拟出了更真实的误读。在此模拟的误读数据上进行预训练,前述端到端口语评测模型的F1分数可以进一步提升到0.607。在仅使用20%标注数据的情况下,本方法依然能获得0.509的F1分数。（3）本文提出了基于声学单位及生成式模型的发音矫正算法,这一算法能够保留说话人的正确读音并修改错误读音,解决了现有口语评测模型无法给出个性化的语音模态反馈这一问题。现有口语评测模型大多是判别式的,因此一般只能给出文本形式的反馈,这一形式较为单一,且时常存在着难以理解的问题。基于用户的输入语音进行发音矫正则提供了更为直观的语音模态反馈,同时能够保留说话人的音色及节奏。为了实现这一目标,本文以声学单位作为媒介,根据标准读音模拟出了成对的误读数据,并提出了单阶段的发音矫正模型来矫正错误的声学单位并进一步转为标准的发音。在此基础上,本文还提出了基于Normalizing Flow的双阶段发音矫正模型来实现可逆的语义提取及语音合成过程,能够比单阶段模型更好地保留用户原始信息。相比于直接基于文本进行生成的语音合成模型,本文提出的模型同样能够生成标准的读音,但能够更好地保留用户的说话风格,使得反馈更为个性化,并帮助用户更好地对比矫正前后的发音差异,引导用户从感知及发音两个角度进行口语学习。