随着信息技术的快速发展,我们的日常生活中产生了大量数据,而从海量的数据中提取有效信息是数据挖掘的重要任务。分类是数据挖掘中一种较常见的问题。而分类算法是一种有监督学习,即通过训练已知类别的样本获得分类模型,进而可以获得待测样本的类别。在日常生活中,我们会遇到很多分类问题,比如垃圾邮件的检测,信用评估,癌症患者的判定等。贝叶斯分类算法简单高效且应用于多个领域,是解决此类问题的常用算法。而朴素贝叶斯分类（Naive Bayesian Classification,NBC）又是一种经典的贝叶斯分类算法,拥有较高的计算效率和简单的算法结构。但是NBC算法关于数据属性之间相互独立的假设,限制了NBC的使用范围,且在实际应用中很难满足这一假设,在该条件假设的基础上,研究者们从特征属性的选择,算法结构的扩展,数据属性加权,贝叶斯与其他方法相结合四个方面对模型进行了扩展,并取得了良好的效果。稀疏贝叶斯学习（Sparse Bayesian Learning,SBL）是将稀疏与NBC算法结合起来的一种改进算法。SBL利用参数的知识和贝叶斯理论求出先验概率和后验概率,最终结合二者的值求出未知参数。该算法可以利用较少的样本获得较准确的估计,但是在某些数据集上特征变量的信息提取不充分会影响算法的分类准确率。基于Kmeans++聚类的朴素贝叶斯集成方法（Naive Bayesian Bagging Based on K-means++,NBKM）也是对NBC算法的一种改进,它将NBC算法与集成算法,聚类算法结合起来并通过提高基分类器的差异性来提高组合分类器的泛化能力,但是初始聚类点的选择在很大程度上影响了模型效果的稳定性。基于以上背景,本文主要研究如下:1.针对特征变量的信息提取不充分的问题,在稀疏贝叶斯学习（SBL）算法的基础上,提出了基于主成分的稀疏贝叶斯算法（Principal Component Analysis-Sparse Bayesian Learning,PCA-SBL）,在理论上解决原始特征之间的不相互独立的问题。主要在两方面的数据集上进行数值仿真:一方面,构建基于主成分的稀疏贝叶斯信用评估模型,在德国信用数据集和澳大利亚数据集上进行实验,对比PCA-SBL算法与SBL算法,前者在分类准确率,召回率,F1得分方面均优于后者,且与其他机器学习算法相比,PCA-SBL算法也有一定的优势;另一方面,选取了UCI数据集中10个领域不同,特征数多少不一的数据集进行实验,实验结果表明:与传统的机器学习算法相比,PCA-SBL算法的平均分类准确率比NBC算法高5.53%,比SBL算法高1.5%;2.针对NBKM算法模型在数据集上应用稳定性较差的问题,根据集成算法的差异性特征,聚类算法聚类点的选择方式的可变性,提出了基于K-medoids聚类的贝叶斯集成分类算法（Naive Bayesian Bagging Based on K-medoids,NBKME）。将该算法应用于UCI数据集,并与其他类似算法进行比较可得,NBKME算法的平均准确率比NBC算法高3.47%。由此可见:改进的贝叶斯分类算法具有更高的泛化能力。本文提出的基于主成分的稀疏贝叶斯算法（PCA-SBL）和基于K-medoids聚类的贝叶斯集成分类算法（NBKME）,与之前提出的贝叶斯分类相关的改进算法相比有更高的泛化性能和效率。