语音识别声学建模中的主动学习研究

被引量 : 4次 | 上传用户:nnljn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
声学模型训练主要基于有监督的学习方式,大量的标注数据参与训练用以改善声学模型的性能。尽管随着现代传播媒介的高速发展、互联网等的飞速兴起,海量的语音数据获取非常容易,但是这些数据在训练前需要进行标注,而标注的代价昂贵、过程枯燥乏味并且异常困难。因此,在声学模型训练中引入主动学习机制,通过主动选择包含信息量大的未标注样本交由人工标注并用于声学模型训练,从而使用尽可能少的训练数据获得较高的分类性能很有研究价值。本文围绕声学建模中的主动学习进行了相关研究,主要的工作及创新包括以下几个方面:1.提出一种基于K-L散度的初始集合选择算法初始样本集合的选择对主动学习的收敛速度有很大的影响,但是传统的主动学习中,初始样本集合都是由一定数量随机选择的未标注样本标注后组成的。本文提出了一种基于K-L散度的初始集合选择算法,分别对未标注样本集和多组初始样本集的分布进行高斯混合模型GMM建模,并使用K-L散度计算未标注样本集和各个初始样本集分布之间的相似性,最终选择同未标注样本集之间K-L散度最小的集合作为主动学习系统的初始样本集。实验表明,该算法选择的初始样本集用于主动学习系统可以获得很好的收敛速度。2.基于不同置信度准则的样本评价算法本文提出了基于不同层次混淆网络的样本评价算法。尽管基于词混淆网络的后验概率是声学建模主动学习中用于评价未标注样本最有效的置信度准则,但是汉语中词具有非常灵活的结构,生成词混淆网络时会出现边界混淆的问题,生成的后验概率不能很好的评价未标注样本。因此,本文设计了多层次混淆网络的生成框架,并分别使用基于字、音节、音素等层次混淆网络得到的后验概率评价未标注样本。此外,本文还提出了一种基于多预测子组合的样本评价算法。目前,声学建模中的主动学习主要采用单一预测子比如后验概率等来评价样本,但是这种方法不能综合多种知识源的信息对样本进行全面评价。本文在每次迭代时,首先构造未标注样本的预测子组合;随后使用基于字词混合的识别结果评价算法标记支持向量机的训练集;然后训练生成支持向量机,并将其识别未标注样本得到的后验概率用于样本评价,从而提供了一种综合不同知识源信息评价未标注样本的思路。实验表明,上述两种样本评价算法是非常有效的。3.提出一种基于潜主题相似度的样本置信度提取算法目前,语音识别的关键已取决于后处理系统的解模糊以及纠错能力,如何提取独立于解码信息并且源于高层信息的置信度已经非常重要。本文提出了一种基于潜主题相似度的样本置信度提取算法,通过潜狄利克雷分配LDA计算得到语音样本识别结果的上下文主题分布以及该样本中每个词的主题分布,并将二者之间的主题相似度作为词的置信度。实验表明,基于潜主题相似度的样本置信度有着非常好的信息补充作用,和来源于解码信息的置信度之间可以很好的进行信息互补。4.提出一种声学模型的选择性训练算法目前,基于置信度的主动学习和半监督学习将每次迭代选中的样本全部用于声学模型训练,并没有考虑样本中各个词、字或者音节等层次上置信度的情况。本文提出了一种声学模型的选择性训练算法,尝试有选择的使用训练样本中的部分单元(词、字或者音节等)参与声学模型训练,并将其应用到半监督学习中。初始实验表明,在选择单元比例较小的情况下,使用选择性训练和半监督学习进行结合是有效的。
其他文献
近年来,章贡区认真贯彻中央一号文件精神,高度重视现代农业发展,积极调整农业产业结构,在“扩规模、调结构、强产业、可持续、提素质”等五个方面下功夫转变农业发展方式,着
我国地质灾害,气象灾害种类繁多,目前因地质灾害、降雨等条件引起的山区干线公路交通事故、交通中断、交通延误等屡见不鲜,给人们的生命财产造成严重损失。本文依据安康市干
目前,柔性版印刷已然成为全球范围内增长速度最快的印刷方式,如何提高柔性版印刷的印品质量,进一步扩大市场,已引起行业专家学者和有关企业的高度重视。而在柔性版印刷中,获得优良
西方经济学界对收入公平分配问题的关注由来已久,而我国经济学界对这一问题的研究较晚。直到改革开放后真正开始关注和研究这一问题。改革开放以前,由于我国实行计划经济,居
<正>随着国家对农业投入的不断加大,农民经济收入的迅速提高,加之国家农机购置补贴政策的实施,促进了广大农民购买和使用农业机械的积极性,进而提高了农业机械化水平,优化了
<正> 一、一般检查(一)按一般住院患者详细填写病历,根据疾病的特性确定物理检查,化验检查和放射线检查的重点。譬如,以消化性溃疡来说吧,可以进行大便潜血、胃液、十二指肠
<正>关山村位于长沙市宁乡县的东北部,辖16个村民小组,村域面积4.94平方公里,原住村民2660人。该村2007年被纳入两型社会先导区的规划区范畴,
气功是祖国医学中重要的组成部分,它在防病、治病、强身和延年方面都起有一定的作用,为究其作用机制,我们初步作了如下工作并作简单探讨。方法:选择观察之对象为高血压病、
近年来,随着农村经济的发展和农业机械化步伐的加快,江苏省农机社会化服务得到了快速发展,有效解决了家庭联产承包责任制下农业生产对农机的需求,农机化水平不断提升,农机作
新常态背景下农业发展的根本途径是促进传统农业向现代农业转变,而提高农业全要素生产率则是实现农业现代化的关键。本文基于1990-2013年省级面板数据,运用超越对数型随机前