许多流行且实用的机器学习方法都是基于求解一个将正则化后的经验风险最小化的最优模型,比如支持向量机和矩阵分解方法等等。而另一方面,贝叶斯学习方法关注模型的概率分布,在建模上享有很强的灵活性与健壮性,在推理上也有一系列成熟的算法。因此我们希望能够将一些正则风险最小化问题转化成相应的贝叶斯学习问题,并借助后者在建模与推理上丰富的工具与手段,得到更好的学习方法。与此同时,互联网的繁荣催生出了一些新的数据类型(比如关系数据),如何扩展并利用贝叶斯方法对这类数据进行建模与分析是很值得研究的问题。而大数据时代的到来,也对贝叶斯方法的推理效率以及可扩展性提出了更高的要求。本文首先考察了如何将一个一般的正则风险最小化问题转化成贝叶斯学习问题。我们细致地比较了直接基于贝叶斯准则的传统方法以及最大熵判别方法这两种不同的实现手段,揭示了它们的一些本质区别与联系。然后,作为实践该转化方法的一个具体实例,我们考察了用于分析“用户-物品”间评分关系的最大间隔矩阵分解方法,并在将其转化得到的贝叶斯模型中进一步引入了非参数化的贝叶斯方法,从而有效地解决了隐含因子个数的选择问题。最后,我们提出了一个通用的对贝叶斯模型的后验分布进行分布式的采样近似的算法,从而极大地增强了贝叶斯后验采样方法在大数据下的可扩展性。本文的主要贡献与创新点体现在以下几个方面:1.我们通过对正则风险最小化问题的分层抽象与采用一套可推广的形式化描述方法,得到了将其转化为贝叶斯学习问题的通用且直观的一般范式。2.我们为最大间隔矩阵分解方法引入了非参数化贝叶斯方法,在学习过程中自动推断隐式因子的个数,并提高了模型的预测性能。我们借鉴了一种针对支持向量机特别设计的数据增广技术,将其运用到最大间隔矩阵分解的贝叶斯学习中,取得了一个高效的吉布斯采样近似算法。3.我们提出了一个新的分布式的贝叶斯后验采样算法。和之前的一些极端并行化的分布式采样近似算法不同,我们允许各计算节点之间通过偶尔且少量地交换消息来达到共享各自的局部后验分布的矩信息的目的,从而使得各节点最终都能得到精确的服从全局后验分布的采样样本。