机器学习算法对于人工智能系统具有重要的理论和实际意义。近十年来,以深层神经网络为代表的深度学习算法和模型在特征选择与学习任务中取得了引人注目的成就,在图像识别、语音识别、机器翻译等多个领域取得了突破性的进展,在部分任务中的数据处理能力甚至超越了人工水平。深层神经网络模型在人工智能应用中表现出了卓越的性能,但是在特征稀疏性、尺度不变性、多通道协变量偏移、频域特征选择能力等方面仍存在一些难以解决的问题。围绕上述技术难题,本文在前人工作的基础上,展开了相关研究,并取得了一些有意义的成果。主要的研究工作和创新点如下:1、对DropConnect算法进行了扩展,改进了掩码生成策略,使得掩码的生成函数依赖于上一层神经元的输出值,从而使得神经网络模型能够根据神经元输出值的稀疏度,动态决定神经元连接的丢弃概率。改进后的模型具有了对稀疏特征进行选择的能力。实验结果表明,新算法输出特征稀疏度大幅提高122.7%以上。此外,识别精度也有一定提高。2、对卷积神经网络模型的尺度不变性进行了研究,提出了一种尺度不变卷积神经网络模型,能够自动适应输入图像在平面空间上的尺度变化。同时,在卷积层中嵌套多层Maxout网络,以进一步提高特征拟合与提取的能力。实验结果表明,相比传统卷积神经网络模型,新模型各层尺度不变性增幅为8.2%—20.1%,识别错误率降幅达13.1%以上。3、为解决多通道神经网络模型中的跨通道协变量偏移问题,将单通道的批量归一化算法推广到了多通道的情况下,提出了一种跨通道批量归一化算法。完整的推导了跨通道批量归一化算法的前向和反向传播过程,并在深度残差模型中进行了实验。实验结果表明,应用新算法以后,训练过程中神经元激活值的分布情况变化的更为稳定,识别错误率降低了 4.0%左右。4、针对卷积神经网络模型频域特征提取能力不足的问题,将频域滤波操作加入到卷积层中,提出了一种具有频域特征选择能力的卷积神经网络模型。新模型加强了对于特定频段信号特征的提取能力,从而提高了识别精度。经实验验证,在GTSRB数据集上,识别错误率从6.69%降至3.17%,效果明显。综上,本文对于深层神经网络的特征稀疏性、尺度不变性等多方面的问题进行研究。所得成果在应用于图像识别任务时,取得了良好的改进效果。