近年来,深度学习技术在计算机视觉领域,自然语言处理领域和语音处理领域取得了飞速的发展和极大的成功,其中表示学习领域研究的不断进步对这次深度学习技术的崛起起到了极大的促进作用。学习良好的数据嵌入与特征表示,使得在构建预测模型或者分类器时更容易从数据中提取有用的特征信息。然而,目前主流的深度学习模型存在黑盒属性,缺乏相应神经科学的理论性指导。主流的深度学习模型不能进行推理任务。深度学习模型的结构往往是固定的,缺乏对应的结构学习算法。深度学习的研究主要围绕着有监督的深度学习,主流深度学习模型的训练离不开大规模的人工标注数据。但是大规模人工标注数据的获取是非常困难的,甚至在一些任务中是不可能的。因此,使用半监督或者无监督的深度学习成为迫切的研究需求。近年来,在无监督深度学习领域,自动编码器取得了广泛的成功。但是传统的深度自动编码器存在很多局限性,比如:首先,自动编码器模型中编码器与解码器存在结构对偶属性,但在传统的自动编码器模型应用中,这点被忽略。其次,编码器与解码器的训练过程是分离的,编码器与解码器之间的反馈信息没有共享。针对上述问题,本文研究一种新型的概率深度学习模型和积网络。和积网络模型具有递归概率语义,具有很强的理论性支持。和积网络能进行精确推理,其结构可以使用结构学习算法从数据中生成网络结构。基于和积网络的这些优点,本文提出一种层次和积网络作为特征提取器并设计改进的和积网络结构学习算法。受到对偶学习启发,本文还提出一种基于对偶和积网络的自动编码器架构。本文的主要工作概述如下:1、本文首先介绍了和积网络的相关基本知识。第二,说明了和积网络的推理模式。然后,介绍了和积网络的生成式与判别式参数学习方法。最后,介绍了和积网络的主流结构学习方法。2、对和积网络在两个方面做出了改进。第一,提出了层次和积网络特征提取器。首先,重构和积网络结构。然后,排列和积网络节点为层次顺序结构,同层包含相同节点,不同层包含不同节点。最后,增加输入层输出到每一个和积网络的隐藏层。第二,提出了一种改进的和积网络结构学习算法,首先,在实例变量矩阵划分之前,将其分为两部分,然后引入树分布作为叶子节点分布。最后,引入变量熵值限制变量划分过程。3、为了验证层次和积网络作为特征提取器与改进和积网络结构学习算法的性能,本文进行了大量的对比实验。首先,可视化层次和积网络的样本生成。然后,可视化层次和积网络的特征提取。最后,使用层次和积网络进行图像分类任务,对比模型RBM,DBN,MADEs和VAE,证明了层次和积网络在特征提取与图像分类的优越性能。本文还设计了改进的和积网络结构学习算法对比传统和积网络结构学习算法Learn SPNs的实验,在模型参数统计与平均测试逻辑似然函数指标中验证了改进的和积网络结构学习算法的有效性。4、提出了对偶和积网络自动编码器。首先,设计其结构作为对偶闭环。然后,引入概率结构对偶正则化项监督对偶和积网络的自动编码器训练过程。最后,同时训练对偶和积网络自动编码器中的SPNs编码器与MPNs解码器,使反馈信息在两个模型中共享。5、为了验证对偶和积网络自动编码器的表示学习能力,本文设计了数据集嵌入重构实验与多标签分类任务实验。实验结果证明,对偶和积网络自动编码器相对于传统和积网络自动编码具有更优的嵌入重构能力。对偶和积网络自动编码器相对于传统和积网络自动编码,MADEs,RBM,SAE,CAE和DAE模型都具有更优的JACCARD,HAMMING和EXACT MATCH分数。