在互联网大数据时代，图像逐渐成为互联网信息交流的重要媒介，图像识别技术随之进入快速发展阶段。图像识别技术起初是为了辅助增强人类视觉，如今能够帮助计算机拥有分析、理解和适应环境的能力，为人工智能时代的来临奠定了基础。深度神经网络采用多层神经元网络来模拟生物神经系统的分布式构造，从而能够自动通过低级特征组合形成更加抽象的高级特征，以发现输入数据的分布式特征表示，因而可以达到提升分类和预测的准确度。一方面，深度神经网络强大的特征学习使得预测和分类变得容易且精确，另一方面，深度神经网络的复杂多层次网络给算法训练增加了一定的难度，且训练相当缓慢。因此本文着重从深度神经网络基础、深度神经网络训练、异构并行运算策略和深度神经网络的图像识别研究等四个方面展开研究。第一部分，深度神经网络基础主要介绍了深度神经网络的基本特征学习方法和如何构建多层次网络的方法，并讨论了与浅层学习的优劣对比;第二部分，深度神经网络训练详细讨论了深度神经网络的训练难点，从而引出无监督特征预训练和有监督优化结合的半监督训练方法，接下来从训练优化的角度讨论了数据集、预处理、参数初始设置、非线性映射、正则化方法和优化方法等六个方面的训练技巧。第三部分，异构并行运算策略讨论了深度神经网络的训练难点，并提出了CUDA矢量化并行训练策略及相关实现。第四部分，深度神经网络的图像识别研究主要通过MNIST手写字符数据集的实验分析网络层数和反向神经网络调优对最终分类准确率的影响以及通过CIFAR图像数据集的实验分析参数正则化对深度卷积神经网络的影响和基于CUDA架构的cuDNN矢量化并行训练策略对训练速度的影响。由MNIST实验可知深度神经网络层数越深，学习到的特征越抽象，越有利于提高预测分类的能力。同时反馈过程不断修正权重梯度，更加细致刻画了特征的细节，大幅提高了网络的分类准确度。而CIFAR实验可知批量正则化可以抑制了因深度神经网络传递而带来参数扰动影响，增加深度神经网络的鲁棒性，从而提高深度神经网络的分类准确度，同时基于CUDA架构的cuDNN矢量化并行训练策略大幅提高训练速度和加快了图像识别速度。