受限玻尔兹曼机是一种随机神经网络生成模型,广泛应用于特征降维、协同推荐等任务中。近年来,以受限玻尔兹曼机为核心结构单元的深层信念网络、深层玻尔兹曼机等深层神经网络模型已成为一类重要的深度学习模型,在手写体数字识别、图像识别等任务中均获得了重要的进展。但是,目前常用的受限玻尔兹曼机学习算法对比散度（Contrastive Divergence,CD）是一种近似算法,其收敛性、学习速度、学习性能等理论和应用问题虽然被越来越多的研究者所关注,但是还存在很多问题需要进一步研究。本文针对这些问题展开分析研究,提出了算法新的收敛条件以及改进的算法。具体而言,本文的主要贡献如下:推导出了 CD算法与真实对数似然梯度之间的关系,证明了 CD算法是对数似然梯度有偏差近似的结论;推导出了持续对比散度（Persistent Contrastive Divergence,PCD）算法与真实对数似然梯度之间的关系,通过对PCD算法公式的理论推导得到了与CD算法类似的结论。进而对两种方法的近似偏差和近似误差进行了理论分析,近似偏差是一趋向于零的项,近似误差不仅含有近似偏差项,而且还含有一期望为零的随机项,分析结果推广了 Bengio和Delalleau（2009）的结论。提出了一种带混合误差的梯度学习算法,为从梯度学习角度研究CD算法的收敛性提供了一个有效的框架。混合误差是确定误差和随机误差的混合。进而重点研究了目标函数的梯度是Lipschitz连续的情况下带混合误差的梯度学习算法的收敛性,给出了带混合误差梯度学习算法的收敛条件,收敛条件主要对学习率、误差项等进行了约束。基于带混合误差的梯度学习算法收敛条件,研究了 CD算法的收敛性并给出了 CD学习算法的收敛条件;在给定有效明确的学习率时,得到了一种更为简洁的收敛条件;特别给出了隐藏变量和可视变量取有限个数值条件下受限玻尔兹曼机CD算法的收敛条件,给出并证明了为保证CD算法收敛Gibbs抽样步数和学习率应满足的关系,仿真实验结果进一步验证这种关系。提出了一种新的受限玻尔兹曼机学习算法-----平均对比散度（Average Contrastive Divergence, ACD）算法,该算法直接估计 CD 近似的期望（Expectation of CD, ECD）,ECD近似对数似然梯度的近似误差小于CD的近似误差,CD的近似误差不仅包含ECD的近似误差还含有一项随机误差。本文进一步证明了在一般情况下,ACD算法近似对数梯度的近似误差以概率1小于等于CD算法的近似误差,也即是说,ACD算法能比CD更好地近似对数似然梯度。对ACD算法进行了模拟数据和真实数据实验分析。在模拟数据实验中本文考虑了一个含有一个可视节点和一个隐藏节点的RBMs和一个含有12个可视节,点和10个隐藏节点的RBMs。对于真实数据考虑了 MNIST数据任务。实验结果与理论分析相一致,实验结果表明,与CD和PCD算法相比,ACD学习算法的近似误差更小,性能更好且收敛更为平稳。