稳定的Boosting类神经网络集成新算法研究

来源 :北京化工大学 | 被引量 : 0次 | 上传用户:zhao0830
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
神经网络集成研究中个体网络生成方法应用较广的是Boosting类算法和Bagging类算法。Boosting类算法由于其权值的调整倾向于“困难”样本,所以在迭代过程中容易使某些“困难”样本累积,从而使集成输出结果不稳定;而Bagging算法所生成的个体网络之间互不相关,因此在不稳定训练情况下不会造成“困难”样本的累积,但由于Bagging算法不能针对性地训练的个体网络,使得该方法的精度无法控制。   为了提高神经网络集成算法的稳定性,使得集成算法在生成个体网络的过程中不会使“困难”样本形成过度积累,同时能针对性地训练个体网络以保证泛化精度。本文从Boosting类集成算法出发结合Bagging算法提出了BSLB(Boosting Seeded Local Bagging)新算法,将Boosting类集成算法中“困难”样本积累现象加以改进,采用基于邻居计算局部误差的方法能区分对待“困难”样本和“容易”样本,并通过邻居误差挑选“困难”样本作为种子样本,根据种子样本运用Lazy算法生成.Bagging二次集成的训练样本集,使得新生成的训练样本分布不再过分关注“困难”样本,从而保证了集成网络的稳定性,针对性地训练个体网络来保证其泛化精度。    实验结果表明,BSLB不会使得“困难”样本过分积累,从而较之AdaBoosting,Local Boosting集成算法对个体网络学习算法的依赖性更低,且不容易陷入局部最优解,特别是在抗噪性上有较为突出的表现;所得到的网络结构较之Local Boosting算法更为稳定,且BSLB算法所生成的个体网络之间的相关度较低,受到不稳定因素的影响小,因此在不稳定训练情况下的个体网络集成后的泛化误差较小。虽然采用了Local Boosting来计算邻居及局部误差较为耗时,但二次集成采用了Bagging方法,使得并行处理成为可能,对比串行处理显著地降低了时间消耗。   
其他文献
软件产品已经应用到社会生活中的各个领域,人们对于软件产品的质量也越来越重视。软件测试作为保障软件产品质量的主要手段,在整个开发周期中所占的比重也越来越大。随着软件
随着我国西部大开发的进行及新疆地区的大发展的实施,维汉机器翻译作为一种快捷方便的沟通工具能够辅助新疆地区经济和社会的和谐发展。然而,目前关于维汉机器翻译的研究较少,本
随着信息高速发展,视频数据在现代社会中发挥着越来越重要的作用,视频摘要提取技术正是在这种大环境下“应运而生”的。视频摘要提取是从视频数据中摘取具有代表性的图像帧或视
论文针对基于PIM技术的、总线可重构的一维SIMD体系结构计算机,设计并实现了一种数据并行语言PIM-C。   PIM-C语言根据体系结构的需要分为控制器执行的串行语言部分和阵列
随着时代的进步,近年来RFID、“3S”(GIS、GPS、RS)、无线传感网等技术快速发展,海量移动数据的获取成为可能。因此,对移动数据进行管理和分析已经成为学术界和企业界共同关注的
当前,入侵检测系统已经成为信息安全整体架构必不可少的一道重要防线。不同于防火墙等其他网络安全组件和产品,入侵检测系统要求具有更多的智能。然而调查表明,当前投入使用
H.264是MPEG-4第十部分,也是新一代视频编码标准,其编解码流程主要包括5个部分:帧间预测、帧内预测、变换和反变换、量化和反量化、环路滤波和熵编码。帧内模式选择是其中一个重
近年来。随着无线移动通信技术的快速发展与普及,有着固定基站的无线移动通信网络已经被广为应用,另一种能够快速自动组网并进行相互通信的无基站移动无线自组织网络(Mobile
对数字图像的非均匀等比例缩放是通过调整源图像分辨率以适应不同长宽比屏幕的过程,这具有非常重要的理论和应用价值。它的核心问题在于如何使得缩放后的图像,一方面既能够突显
目前,我国在水利、电力、天然气等资源监测等领域已经开始应用了自动化数据采集和传输设备,这些设备一般都是基于GPRS无线网络来进行采集数据传输。但是,由于GPRS网络本身的