论文部分内容阅读
深度学习是一种新式的多层神经网络模型,拥有强大的表示能力,用途广泛,引起了机器学习界普遍的关注。受限玻尔兹曼机(Restricted Boltzmann Machines,RBM)是一类基于概率的随机神经网络模型,具备两层结构,满足层间全连接,层内无连接,可以有效地提取特征,也可以用来预训练传统的前馈神经网络,明显地提高网络的判别能力,如果堆叠多个RBM形成的深度置信网络(Deep Belief Network,DBN),则能抽取到更抽象的特征。鉴于RBM的优势,本文基于RBM的基本模型,从公式推导、算法、参数设置以及收敛性理论等基本内容展开,重点研究的工作包括以下几个方面:1.在RBM模型的基础上,研究了两种不同的稀疏RBM模型:Sp RBM与Log Sum RBM,并结合Polyak Averaging在随机梯度下降时加速收敛的优势,对稀疏RBM模型的学习算法作了改进,从平均重构误差和算法复杂度方面分析了算法改进之后模型求解结果之间的差异与优势。2.借鉴RBM的两种评估策略(重构误差法和退火式重要性采样法),将其应用到Sp RBM与Log Sum RBM模型的评估中,实验详细验证了评估的可行性与效率,从评估的角度表明了Log Sum RBM模型比Sp RBM模型更优。3.研究了DBN网络的层数对模型性能的影响,确定了模型达到最优时的层数(4层),依次构建了4层与5层非线性深度网络,使用基于RBM的不同深度网络模型3DBN、3Sp DBN、3Log Sum DBN以及4DBN、4Sp DBN、4Log Sum DBN分别作为4层网络与5层网络的预训练,并在MNIST和UCI数据集上进行了分类、识别,经过实验对比,表明了基于Polyak Averaging策略求解的Log Sum DBN模型是最优的模型,具有更好的稀疏特征表征能力和判别能力。这与上述评估结果不谋而合。