分类与回归技术已经被广泛应用于人脸识别,卫星图像识别,信息安全等等多个领域。而集成学习能够有效地提升单个模型的分类与回归效果。然而前人的研究大多只关注集成学习器的准确性,忽视了基础学习器之间的差异选取,因此集成学习器整体的泛化性能仍有不足。同时国内外学者也忽视了核学习在集成学习方面的使用。针对上述问题,本文研究基础学习器的选择,并加入核技巧,通过最小二乘的方式把分类问题和回归问题都转换成集成回归模型,使得最终的集成模型具有更好的泛化性能和鲁棒性。本论文主要工作如下:本文提出最小二乘框架下的多样性选择集成分类策略。针对于前人忽略基础学习器差异性选取的问题,本文通过结合准确性和多样性两个关键因素来选择集成基础分类器,在集成学习过程中使用最小二乘框架来最大化地选择基础分类器;使得整个学习过程以回归的方式获取最小分类误差,有效地自适应分配基础分类器的权重。实验结果表明,论文提出的方法比其他集成方法如Random Forest,AdaBoost,EnsembleSVM等算法具有更好的分类性能。本文提出最小二乘框架下的多核选择集成回归策略。为了进一步提升集成学习的效果,本文在选择集成基础学习器的过程中,加入了核技巧,并将集成学习扩展应用到回归问题中。基础核回归器在整个过程中被协同优化及加权,可解决多核模型中类型的选择和参数选择难题。所采用的集成在最小二乘框架下对多个希尔伯特空间中多核基础回归器最优化整体平方损失,来得到最优集成结果。实验在人工数据集,UCI回归和分类数据集以及手写数字数据集上进行的实验表明,该算法在与其他回归方法例如Ridge Regression,Support Vector Regression和Gadient Boosting Regression等算法的比较中,取得了更好的回归与分类效果。