正则回归模型能够较好地克服过拟合问题,在学习理论中是一种具有良好泛化能力的经典机器学习模型。在数据科学急速发展的今天,随着集成学习,多示例学习,深度学习等一系列学习框架的诞生,对正则回归模型在这些学习框架下的性质的研究也变得日益重要。本篇文章主要研究了正则回归模型在分布式学习,分布回归和神经网络这三类学习框架下的理论分析。本文的内容分为六个章节。在第一章我们阐述了研究的背景与动机,介绍了学习理论作为机器学习的理论基础在如今数据科学领域的重要地位,以及其主要包含的学科交叉。同时我们也介绍了机器学习在理论层面的的三大任务:聚类,分类和回归,以及本文所讨论的也是近年来比较主流的学习框架。另外我们也给出了文章的概要。第二章我们引入了本文研究的学习模型——基于最小二乘损失的正则回归模型,并分别给出了HK范数正则,l~2范数正则以及l~1范数正则的经典理论分析,我们分别用传统的概率不等式,积分算子以及假设空间逼近的方法给出了这三种正则模型的学习速率。另外我们也给出了一类基于链条损失函数的经典正则回归模型——支持向量机的简单示例,并证明了其约束优化问题与回归模型的等价关系,从而展示了分类与回归的深层联系。在第三章中我们研究了正则回归模型在分布式学习框架下的学习理论,主要是在分布式学习框架下系数正则回归模型的性质继承以及泛化问题。所谓分布式学习,简单地概括来说就是将整个样本集切分成多个不同的子样本集,在每个子样本集上训练局部模型,我们的最终训练结果由所有局部模型加权求和获得。我们在Yuchen Zhang等人的分布式分治原则的研究基础上提出了系数正则回归的分布式学习算法框架,并通过使用再生核希尔伯特空间的性质以及积分算子差的分解证明了当回归函数满足一定的正则性时,系数正则回归的分布式学习算法框架可以达到最优的学习效率。与Zhengchu Guo等人提出的谱算法框架相比,我们的研究结果放宽了对假设空间的限制,同时当回归函数正则性较强时,我们的算法框架克服了Yuchen Zhang等人研究中出现的饱和影响。从而我们的研究证明了了系数正则在分布式学习框架下具有良好的泛化性,仍然能够在克服饱和影响的基础上达到最优的学习速率。同时我们也提出了在数学理论分析层面,分布式学习算法与分布回归问题二者的相似关系,为我们之后的研究确立了新的方向。另外我们也研究了一类具有通讯设置的分布式学习算法,这种学习算法通过传递梯度达到了子学习机器间信息交流的目的,同时也保证了数据的隐私性与安全性,是现在分布式学习在工程实践中最主要的应用模式。我们通过分析迭代算法给出了其学习速率,并阐述了其对我们在分布式学习方向的研究启发。在第四章中我们研究了分布回归问题,分布回归问题作为多示例学习的理论基础,主要研究的是以概率测度为输入的回归问题。一方面我们研究了分布回归问题对非独立采样的稳定性,我们放宽了以往分布回归研究中独立采样的限制,并通过使用强混合序列的性质以及特殊的协方差不等式证明了当采样点满足强混合条件时,分布回归问题仍然能够达到最优的学习效率。从而将Zhiying Fang等人有关于分布回归学习率的结果推广到了非独立采样情况,拓宽了分布回归问题的应用范围。另一方面我们利用再生核希尔伯特空间性质以及积分算子的技巧证明了l~2系数正则的分布回归问题同样可以达到最优的学习效率,我们的结果克服了Zoltan Szabo等人的研究中出现的饱和影响。在第五章我们给出了积分型神经网络离散化的理论分析,这也是我们当下的主要研究方向。在这一章我们介绍了Taiji Suzuki在神经网络压缩方面的主要工作,并使用l~2系数正则回归模型的收敛速率分析得到了离散神经网络的逼近速率,同时我们通过Schmidt-Hieber提出的复杂度分析结果直接得到了离散神经网络的学习泛化误差。在最后我们详细介绍了对神经网络压缩问题的一些思考,以及对使用正则回归模型改善压缩效果的科研展望。在第六章我们则给出了本文的总结。