论文部分内容阅读
深度学习(Deep Learning, DL)包含多个隐藏层,是一种模拟人脑机制,将数据从底层映射到高层进行特征提取的一个学习过程。由于其在复杂函数表示和复杂数据分类上具有较好的效果和效率,已成功地应用于语言识别、图像识别等领域。深度学习的学习方法分为有监督和无监督学习。其中,卷积神经网络属于有监督学习模型;深度置信网络属于无监督学习模型,它是深度学习中的最经典的学习模型,本文主要针对深度置信网络进行深入研究。传统的深度置信网络利用重构误差作为网络评价指标。虽然重构误差能在一定程度上反应网络对训练样本的拟合度,但并不可靠。最大信息系数(MIC)能用来确定两个属性间的相关度,并较稳健,不易受异常值的影响,因此可利用MIC作为网络评价指标。于是,本文提出一种基于MIC的深度置信网络方法,一方面用MIC对数据进行降维预处理,保留相关度较大的属性,提高数据与网络的拟合度;另一方面将MIC作为网络评价标准,改进重构误差的不可靠性。在手写识别数据集MNIST和USPS上进行仿真实验,实验结果表明基于MIC的深度置信网络能有效降低网络分类误差。研究中还发现,深度置信网络中的网络参数,如学习率,较难设定,当值过大时,收敛速度较快但易造成网络不稳定,当值偏小时,虽可避免网络的不稳定性,但收敛速度较慢。因此,在网络的学习过程中,找到一个适当的学习率是非常重要的。传统方法往往是根据经验或者多次学习获得网络参数,遗传算法可以通过其自身全局最优解的特性,寻找网络最佳参数。因次,本文提出了一种基于遗传算法的深度置信网络参数自寻优方法,一方面通过遗传算法中选择交叉变异等算子多步迭代找到最佳学习率,提高网络学习速率以及网络的精度;另一方面保留能量值最小情况下的网络参数,初始化网络,提高网络与训练样本的拟合度。在手写识别数据集MNIST和USPS上进行仿真实验,实验结果表明了基于遗传算法的深度置信网络收敛速率较快且精度高。ICU预后评估对于缓解医疗资源的紧缺,以及在合理分配资源上具有重要的意义。本文将深度置信网络算法应用于ICU数据集,构建基于深度置信网络的ICU预后评估系统,实验结果验证了深度置信网络也能较好地应用于ICU预后评估。