基于boosting的不平衡数据分类算法研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:wm3033
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网的高速发展导致了海量数据的诞生,其为人们获取信息提供了一定的便利,同时也使得人们淹没在信息海洋之中。为提高人们获取信息的效率,对海量数据进行自动分类是最常用的方法之一。然而,海量数据中极易出现数据不平衡的现象,即某个类别的样本数目明显少于其他类别的样本数目。传统分类算法在解决数据不平衡问题时的系统表现往往不尽人意,因此研究不平衡数据分类是十分必要的。现有的解决不平衡数据分类问题的主流方法为采样算法和集成学习boosting算法的结合,比如SMOTEBoost(Synthetic Minority Over-sampling Technique and AdaBoost.M2)、EE(Easy Ensemble)、RUSBoost(Random Under-sampling Technique and AdaBoost.M2)、EUSBoost(Evolutionary Under-sampling Technique and AdaBoost.M2)等算法。以上算法在迭代学习开始之前,给训练集中的每个样本赋予相同的权重,然而在数据不平衡现象存在的情况下,每个样本的重要程度是明显不同的。因此,以上算法忽略了样本分布的先验信息,即算法存在一定的缺陷。为了解决上述问题,本文提出了一个新的针对于boosting算法的加权策略PKW(Use Prior Knowledge to Weight Samples),该方法首先利用聚类算法寻找各类样本的聚类中心;其次,计算各类样本到其聚类中心的欧几里得距离,距离越小,样本的重要程度越高;最后,利用高斯核函数对样本进行加权。因此该方法可以准确的获得样本分布的先验信息(样本的重要程度)。接着,本文将加权策略PKW应用于AdaBoost.M2、SMOTEBoost、EE、RUSBoost、EUSBoost等算法,分别产生了PKWA、PKWS、PKWEE、PKWR、PKWE等改进算法。为了验证改进算法的有效性,本文在30个数据集上进行了实验,分别利用G-mean、Fmeasure、AUC等3个指标来衡量改进算法和现有算法的系统性能,并做了对比分析。实验结果表明,改进算法在每个指标上的系统性能整体上要优于现有的经典算法。为研究各算法在统计学意义上是否存在差异,针对每一个指标上的实验结果,本文利用Friedman检验和Nemenyi后续检验对其进行了统计学分析。
其他文献
采用简单的化学气相沉积法,首次以尿素(CO(NH2)2)为N掺杂剂,与Si/SiO2粉体混合,一步法实现了高质量的N掺杂SiC纳米线的制备,并系统研究了不同原料质量比m(Si/SiO2)∶m(CO(NH2)2)、不同
“高度重视”、“充分肯定”、“亲自过问”、“亲临现场”……1月9日,有媒体向网友征集并刊登了一些“你最反感的官话套话”。$$ “会议没有不隆重的,闭幕没有不胜利的;讲
报纸
马流行性淋巴管炎(epizootic lymphangitis,EL)是由伪皮疽组织胞浆菌(Histoplasma farciminosum)引起多种动物以形成淋巴管和淋巴结周围炎、肿胀、化脓、溃疡和肉芽肿结节为特征
谭仲池的小说创作具有浓郁的湖湘文化情结,他的作品既大力彰显和弘扬湖湘地域文化的优秀品格,同时,又站在时代的高度对湖湘地域文化进行了全方位、多角度的反思,展示出强烈的
腕管综合征是周围神经卡压综合征中最常见的一种.常因出现神经功能障碍而使劳动力出现不同程度的丧失.我院自1997年1月~2002年9月共收治42例有严重正中神经功能障碍的腕管综合
中华人民共和国建立50年来 ,盐业管理体制历分、合、裁、并、收、放 ,改弦更张 ,时有变革。频繁的变化中有利有弊 ,既有成功的经验 ,又有深刻的教训。回顾盐业管理体制演变这段
新中国成立60年以来,广东勇闯敢拼,发挥地域优势,紧抓开放前沿机遇,大力开拓对外贸易,不断优化工农业结构,形成并壮大珠三角城市群,传承与创新岭南文化,强化生态文明的建设。
压裂酸化是油气田重要的增产措施,连续油管技术的应用显著提高了作业效率,降低了作业成本,但在实际施工过程中存在严重的腐蚀问题,针对当前缓蚀剂技术存在的成膜稳定性、持久
一、激发学生写作兴趣,保护学生写作热情如果学生开始写作时没有足够的写作兴趣和信心,就不会有好的开端。因此,我在学生开始写作时就注意激发学生的写作兴趣。例如:在我省实
红外目标跟踪在计算机视觉领域一直备受瞩目,目前在精确制导、侦察、视频监控等军事和民用领域都已得到了广泛的应用。但是红外图像比起可见光图像对比度更低,缺乏纹理和颜色