论文部分内容阅读
文本信息的分类问题是文本挖掘的一个重要研究方向,是自然语言处理和机器学习的关键技术之一。随着互联网上文本信息的急剧增加,对文档的自动分类需求越来越高。近些年来,机器学习在文本分类领域的应用越来越广泛,相对于传统的文档分类模型,机器学习在分类结果和效率上都有所进步。文本建模是文本分类的基石,目前主要的文本建模方法包括向量空间模型和主题模型。其中使用最广泛的是向量空间模型,但是向量空间模型存在维度大、稀疏性高以及同义词和多义词等语义问题;相对于向量空间模型,主题模型可以实现有效的降维,发现文档的潜在主题,但是主题模型需要大量的样本进行学习,训练难度大并且非常耗时,影响了分类的效率。本文仔细研究了文本分类的有关技术,提出了一种文本建模方法word2vec_k-means,与传统的文本建模方法相比,该方法在分类的准确率和效率上都有所提升,并且通过实验验证了该方法的有效性。本文主要在以下三个方面进行了研究:(1)深入的研究了文本分类的流程和相关技术,针对一些常见的文本表示模型,分析了这些文本表示模型的优缺点。(2)提出了一种文本建模方法word2vec_k-means,该方法以word2vec训练得到的词向量为基础,首先对这些词向量进行聚类处理,从而生成不同的类别数目即主题数,然后再对文档进行特征项的权重选取,最终可以得到每篇文档在词向量聚类类别下的分布结果,从而完成文本的建模过程。通过这种文本表示方法不仅能够有效的降低文本的向量维度,同时还解决了同义词之间的语义问题,并且大幅度的减少了模型的训练时间。(3)用本文所提出的文本建模方法来进行文本的向量化表示,完成文本建模,在此基础上应用SVM分类算法,将这种文本表示模型优秀的语义表示能力和SVM强大的分类能力结合起来。实验结果表明,与传统的文本建模方法相比,word2vec_k-means文本建模方法在分类准确率以及F1值的微平均和宏平均上均有所改善。