分类问题是统计机器学习理论中最重要的问题之一,其在计算机科学、工程、医学等领域有着广泛的应用.解决分类问题的算法很多,从经典的基于分布的似然方法,如logistic回归和Fisher线性判别分析,到基于间隔的方法,包括著名的支持向量机,每种类型的算法都有各自的优点.本论文主要考虑基于一类Lipschitz凸损失函数的大间隔两类分类算法,该类算法不仅可以克服支持向量机算法在高维小样本数据中遇到的数据堆积现象,还统一了基于分布和基于间隔的分类算法.本论文旨在为上述算法建立系统的误差理论.首先,本文考虑了独立同分布抽样下的大间隔分类算法,详细地研究了在各种参数选择下大间隔统一机损失函数的比较定理,该定理刻画了超额错误分类误差与大间隔统一机损失函数定义的超额推广误差之间的定量关系,该结果在误差分析中起着关键的作用,它使得通过经验过程进行误差分析成为可能.基于所得到的比较定理,我们进一步推导了在独立同分布采样假设下基于变高斯核的大间隔统一机学习算法的学习率.变高斯核相较于单个高斯核而言具有更强的函数逼近能力.其次,本文将大间隔分类算法的研究扩展到非独立和非同分布的采样过程中.通过构造一个独立的块序列,将对弱相关样本序列的分析转化为独立块序列的分析.在处理非同分布抽样时,假设边际分布函数满足多项式收敛.我们利用误差分解技术将总误差分解为样本误差,正则化误差和漂移误差.漂移误差是基于不同边缘分布采样所引起的误差,在独立同分布采样中该项误差为零.本文引入了一种新的投影算子克服目标函数无界带来的技术困难.利用再生核希尔伯特空间理论,覆盖数技术及迭代算法等得到了非独立和非同分布采样下的大间隔分类算法的快速学习率.最后,我们研究了处理不平衡数据的加权广义距离加权判别法.标准的距离加权判别法只适用于平衡数据.首先证明了加权广义距离加权判别法的正则化等价形式,并通过核技巧将其推广到非线性问题;然后证明了加权形式的比较定理,并利用误差分解技术、集中概率不等式、高斯核生成的再生核希尔伯特空间覆盖数的紧界估计等对加权广义距离加权判别法进行了误差分析,并得到了具体的学习率.本文采用的变高斯核相较于单个高斯核而言具有更强的函数逼近能力,提高了加权广义距离加权判别法的学习率.