深度学习是人工智能领域的一个重要的研究方向。深度学习源于生物神经网络学,通过组合低层特征形成更加抽象的高层特征,以发现数据的分布式特征表示。深度学习领域常用的栈自动编码模型和稀疏自动编码模型能够利用数据学习特征,获得数据不同层次的特征表达,并提高识别精度。然而,自动编码模型学习到的不相关特征在神经网络训练过程中会消耗大量的计算资源和存储资源。为了减少神经网络训练的时间,可以对自动编码所学习到的特征集合进行特征选择。特征选择技术不仅可以帮助理解自动编码的训练模型还能提高模型的泛化能力。因此,本文将特征选择技术应用于自动编码模型所学习到的特征集合来获得更好的分类性能。本文首先讲述了深度学习的工作流程和涉及到的相关模型,再论述了特征提取和特征选择过程中所使用的相关技术,最后提出了基于交叉熵的栈自动编码特征选择方法和基于平方误差损失的稀疏自动编码特征选择方法,主要研究工作如下。为了解决机器学习中特征工程面临的问题,获取目标深层本质特征信息,提高识别精度,本文提出了一种基于交叉熵的栈自动编码特征选择算法(CESABF)。CESABF算法采用了机器学习中的有监督学习和无监督学习训练方法。先建立一个堆叠了二个自动编码器的三层栈自动编码模型,采用无监督的方法训练好三层栈自动编码模型。然后把三层栈自动编码模型的输出当作一个softmax分类器的输入,采用有监督训练方法来调节模型的参数。之后以交叉熵为标准计算上述模型中每一个特征对数据集的影响,删除增加数据集交叉熵的特征。为了使自动编码器学习到数据的稀疏特征,减少特征集的冗余度,提高网络模型的泛化能力,本文提出了一种基于平方差损失的稀疏自动编码特征选择算法(SESABF)。先创建一个经典的自动编码器,再给自动编码器加入稀疏性限制。预训练好稀疏自动编码器后,将编码好的数据集送入一个分类器,把稀疏自动编码器的编码层当作一个神经网络,采用梯度下降的方法调节神经网络参数。然后用平方误差损失作为选择特征的评价标准,计算删除每个特征对数据集的平方误差损失的影响,从而保留降低数据集平方误差损失的特征。