具有Fisher一致性的代价敏感Boosting算法

来源 :软件学报 | 被引量 : 0次 | 上传用户:hsmk888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
AdaBoost是一种重要的集成学习元算法,算法最核心的特性"Boosting"也是解决代价敏感学习问题的有效方法.然而,各种代价敏感Boosting算法,如AdaCost、AdaC系列算法、CSB系列算法等采用启发式策略,向AdaBoost算法的加权投票因子计算公式或权值调整策略中加入代价参数,迫使算法聚焦于高代价样本.然而,这些启发式策略没有经过理论分析的验证,对原算法的调整破坏了AdaBoost算法最重要的Boosting特性。AdaBoost算法收敛于贝叶斯决策,与之相比,这些代价敏感Boosting并不能收敛到代价敏感的贝叶斯决策.针对这一问题,研究严格遵循Boosting理论框架的代价敏感Boosting算法.首先,对分类间隔的指数损失函数以及Logit损失函数进行代价敏感改造,可以证明新的损失函数具有代价意义下的Fisher一致性,在理想情况下,优化这些损失函数最终收敛到代价敏感贝叶斯决策;其次,在Boosting框架下使用函数空间梯度下降方法优化新的损失函数得到算法AsyB以及AsyBL.二维高斯人工数据上的实验结果表明,与现有代价敏感Boosting算法相比,AsyB和AsyBL算法能够有效逼近代价敏感贝叶斯决策;UCI数据集上的测试结果也进一步验证了AsyB以及AsyBL算法能够生成有更低错分类代价的代价敏感分类器,并且错分类代价随迭代呈指数下降.
其他文献
颅内动静脉畸形(AVM)的栓塞治疗是现代微侵袭神经外科对该病综合治疗的重要手段之一.我院近期对10例AVM病人实施了栓塞治疗,总结如下:
服务发现是面向服务的网络软件开发过程的关键阶段,同时也是影响服务组合效率的关键因素。针对当前服务发现自动化程度低下、准确性不高的现状,从两个方面提高服务组合效率:首先