在人工智能受到来自社会和工业界的广泛关注的当代,机器学习作为人工智能中非常核心的组成部分,在众多的问题场景下发挥着巨大的作用。分类问题由于其庞大的问题覆盖范围和便捷的应用场景,一直都是机器学习领域研究的热点。线性分类器作为分类算法中的基础,由于其简单性和高效性在很多的问题中得到了成功的应用。而逻辑回归由于其概率输出的特性成为线性分类器中最主要的一个模型之一,因此对逻辑回归的拓展研究受到了很多的关注。因此,本文的主要内容安排如下:第一部分中,本文利用广义逻辑损失,通过优化间隔分布,设计了一种具有鲁棒性和泛化能力的间隔分布逻辑回归模型,并且在本文中,针对多分类的问题设计了一种多分类学习的框架并通过引入结构性稀疏约束帮助模型利用多类别之间的共享信息,在这个多分类框架下可以同时完成二分类,多分类和特征选择等任务,并为这个框架设计了相应的优化算法。此外,对于非线性分类和大规模学习,本文也给出的相应的解决方案。通过多组实验设计,验证了模型设计的多种特性包括间隔分布,噪声分析,分类能力等等。第二部分中,由于在实际的数据挖掘任务中,集成学习的性能往往要好于单个基学习器,研究将单个基学习器推广到集成学习中非常必要。对于间隔分布逻辑回归和随机子空间集成算法来说,由于噪声特征的存在会导致随机子空间存在巨大的冗余从而降低了模型性能,因此第二部分中通过引入基于聚类的剪枝思想和子空间分布的差异性度量来得到差异性随机子空间集成,降低集成模型的计算代价并保留随机子空间集成中的信息。实验表明,差异性随机子空间集成对于高特征样本比的数据尤其适用,而采用间隔分布逻辑回归的差异性随机子空间集成要更优于采用传统分类模型的算法结果。从而本文针对逻辑回归,通过引入广义逻辑损失和间隔分布,构建了一个形式简单且具有鲁棒性和泛化能力的分类模型,并在多种应用场景下进行了相应的拓展研究。