论文部分内容阅读
随着数据规模快速增长,能够处理大数据集的数据挖掘算法得到了广泛的研究和应用,成为目前研究的热点之一。本文主要研究了面向大数据的增量式特征选择和增量式分类学习算法。论文的主要研究工作有以下两个内容:(1)以条件互信息作为度量标准的基础上进行增量式的特征选择算法,主要通过将大数据模拟数据流并划分为数据块,增量对特征子集进行信息度量,提高运算效率,最终得到特征子集。为了验证所改进的增量特征选择算法的有效性,在UCI实验数据集上进行模拟实验比较分类性能。通过实验表明,增量特征选择(I-MIFS)算法在大多数情况下都比其他算法要好,I-MIFS算法是一种适合大规模数据集的特征选择算法。(2)在神经网络集成的基础上研究增量式大数据学习算法:研究了运用改进的Boosting技术完成个体神经网络的生成和最后结果的集成,将分类边界的错分样本作为研究目标,使集成的神经网络可以进行大数据增量学习,通过设计实验,运用UCI数据集进行实验,对比分析可以得到增量大数据学习算法是有效可行的实验结果。研究基于改进的Learn++算法,使神经网络具备了大数据增量式学习的能力,解决了类别不平衡的问题。本文提出的面向大数据的增量式大数据学习算法,能够在有限的存储容量和计算资源情况下,分批处理大数据的分类问题,该算法具有一定的社会实用价值,对以后相关的研究工作也有一定的借鉴意义。