老挝语是一种无间隔的连续字母语言,需要先分词才能进行其他后续自然语言处理研究。本文针对老挝语分词这一问题,基于端到端、半监督和协同训练的思想,构建出机器学习分词模型并对其进行实验。本文主要完成了以下工作:(一)、构建基于神经网络的端到端老挝语分词及分音节模型。老挝语由于其基于字母的特殊性,在分词前需先进行分音节处理才能有更好的分词表现。本文提出一种端到端的方法,改进了已有的先分音节再分词的流水线模型,并加入音节序列特征,实现了从字母到单词序列的端到端模型,实现了更好的分词效果。(二)、在端到端神经网络模型基础上,构建半监督的老挝语分词机器学习模型。由于老挝语研究存在标记语料较少的困难,因此本文构建基于半监督和协同训练的机器学习模型,将监督学习的神经网络模型与无监督学习的基于概率进行分词的模型相结合,使用小规模标记语料和无标记语料基于分歧进行协同训练,实验表明,该方法达到了较好的性能,较端到端模型有所提升。(三)、对新词发现算法进行研究探索,融入半监督老挝语分词模型,对模型进行改进。老挝语分词模型由于训练语料规模较小,语料局限于某一领域内,难以发现新词,为克服这一困难,基于互信息理论,使用凝固度等参数构造老挝语词典,根据词典对半监督分词模型的软标签生成规则进行调优,使模型获得性能的提升。实验结果表明,本文所述融入新词发现算法的半监督老挝语分词模型分词准确率达到91.3%,召回率达到91.02%,F1值达到91.16%,性能表现良好,较已有研究有所提升。本文还根据实际应用需求,设计实现了老挝语分词软件,实现了老挝语分词/分音节,切分模型训练和语料爬取的功能,方便用户进行相应操作。