论文部分内容阅读
针对短篇幅文本数据稀疏的特性，提出了一种利用外部语料库知识提高短篇幅文本分割准确率的方法．该方法分2个步骤完成：①利用Gibbs采样方法估计语料库对应的潜在狄利克雷分配（LDA）模型，并利用该模型推断目标文本的潜在语义结构信息；②通过定义语义段落内凝聚性和语义段落间发散性2个目标函数，将文本分割问题转化为多目标优化问题．采用一种针对文本分割的并行遗传算法，获得全局最优解．通过实验，在文本数据稀疏的情况下，该算法在准确率方面优于多元判别分析（MDA）方法和基于LDA的文本分割方法，对于提高文本分割的准确率是