论文部分内容阅读
失衡样本,即不平衡的数据集,是指在一个数据集中不同类样本的数量相差悬殊。研究表明不平衡数据集严重影响了很多传统机器学习算法的分类性能,特别是少数类的分类性能可能很差。同时,不平衡数据集还导致训练分类器的速度过慢。然而在现实世界中,许多数据集都是不平衡的,甚至不平衡的程度很严重:有些数据集中只有3%-5%的少数类样本,例如多媒体语义分类,信息检索,医疗检测等。此外,人们通常更关心数据集中的少数类样本,例如信息检索中与关键字相关的文档总是占很少数,所以人们更希望少数类有很好的分类性能。由于传统的机器学习分类算法不能满足在现实中的分类应用性能良好,因此失衡样本问题迫切需要得到解决。为了解决失衡样本所带来的以上问题,本文首先提出了过滤数据集中的样本以平衡数据集的思想。这个思想希望通过过滤失衡样本中的对分类没有帮助的多数类样本,从而拉小两类样本数量的差异,使数据集平衡并提高机器学习算法的效果。为了实现这个思想,本文又提出了一个新颖的过滤规则提取算法。该算法自动从失衡的训练集中提取规则,这些规则能有效的去除样本空间中远离分类边界的没有用的多数类,尽量保留少数类,最后使得数据集平衡。在实验中,首先提取过滤规则,之后使用提取的规则过滤失衡数据集,最后用SVM对过滤后的训练集训练分类器。此外,本文还将该思想和算法应用于自动提取新闻图片中。从实验结果可以看出:1)本文提出的过滤样本平衡数据集的方法是可行的、有效的。2)自动规则提取算法提取出的规则能有效的过滤失衡样本中无用的多数类,几乎不过滤少数类,最后达到平衡数据集的效果3)不平衡数据集使用规则过滤后,再使用SVM进行分类,能提高其分类性能,同时明显降低训练分类器的时间。4)实验还证明了使用规则过滤后分类数据集比代价敏感学习方法无论在分类性能还是在训练时间上都更具优越性。5)最后,实验显示,本文提出的过滤规则提取算法能在自动提取新闻图片的应用中使用并得到好的性能。