论文部分内容阅读
随着WWW的迅猛发展,Web上聚集了海量的信息,因此如何快速、准确而全面的获取有用信息已经成为巨大的挑战。基于人工智能的信息内容的自动聚类、分类和文摘,以及深层次的文本挖掘为迎接这个挑战提供了新的支撑技术。本文的目标就是在文本挖掘的背景下,从理论、算法和应用三个层次来研究文本特征选择与文本分类。
本文首先全面分析了自动分词、文本特征选择、文本分类算法等相关技术。
随后重点研究了kNN文本分类器中决策规则的改进。kNN方法作为一种简单、有效、非参数的分类方法,在文本分类中得到广泛的应用。但是这种方法的一个明显缺点是:当样本分布密度相对不均匀时,只按照前k个近邻顺序而不考虑它们的距离差别会造成误判,影响分类器的性能。针对这个问题,本文采用了模糊分类的思想,通过分析相似度、距离、隶属度函数之间的关系,构造了基于文档相似度的决策规则来克服这一缺陷。
接着提出了一种快速有效的文本特征选择新方法。文本分类的首要任务就是进行特征选择,降低原始文本特征空间的维数和提高分类精度。基尼指数作为一种不纯度分裂方法的原理,很早就被提出并应用于决策树中的分裂属性的选择,获得了非常好的分类精度。但将其应用到文本特征选择的研究却非常少。使用基尼指数原理进行了文本特征选择的研究,构造了基于基尼指数的新的文本特征选择评估函数。
论文最后,在中英文两个不同的语料集上,给出了试验结果与分析。
(1)采用四种著名的文本特征选择方法进行特征选择,对改进的模糊kNN方法与经典kNN方法和目前广泛使用的基于相似度加权的kNN方法进行实验比较。实验结果表明,这种方法削弱了训练样本分布的不均匀性对分类性能的影响,可以将微平均准确率提高大约1~2%,并且在一定程度上降低对k值的敏感性;
(2)结合两种不同的分类方法:模糊kNN和SVM方法,对基于基尼指数的新的文本特征选择方法与其它著名的文本特征选择方法进行比较和分析实验,结果显示它的性能超过或可与现有的特征选择方法相媲美,但在计算量上比其它方法要小得多。