深度模型——泛指各类采用了深度神经网络(Deep Neural Network,简称DNN)的模型,它们往往包含庞大的参数数量和复杂的计算流程,这使得这些模型在计算和存储方面需要消耗大量的资源。故而很多包含深度模型的应用无法布置到资源受限的硬件平台上——计算和存储资源较少且不易扩充的硬件环境(例如:无人机),此时就需要对深度模型进行简化。深度模型简化的目的,是在保持模型精度(具体应用设置的评价指标)的前提下,针对性地加快模型计算速度或是压缩模型存储大小。据此,本文分别针对深度模型的加速和深度模型的压缩进行了相应的研究。首先,针对深度模型常用的组成部分——深度神经网络,本文提出了一种通用的压缩方法,其能极大地压缩模型的存储大小。对于深度模型压缩,有一类常用的方法是基于重要性的连接裁剪法(Magnitude-based Pruning,简称MP),该方法主要假设网络中连接权重的绝对值可以视为对应连接的重要性度量;当给定一个重要性阈值后,将神经网络中所有重要性(也即是连接权值的绝对值)低于该阈值的连接都删去。目前在深度神经网络中取得显著效果的MP方法主要是它的一个变种,既基于层级结构的重要性裁剪方法(Layer-wise Magnitude-based Pruning,简称LMP)。LMP的做法主要是分层进行MP,不同层使用不同的裁剪阈值。但是LMP有个显著的难点,就是不同层的阈值组合数目是随着网络层数指数增长的。对于给定的网络结构,如何确定一组最佳的阈值非常困难。对于这个问题,本文提出了基于优化的层级裁剪方法,既Optimization based Layer-wise Magnitude-based Pruning(简称OLMP)。为了解决裁剪阈值选取的问题,OLMP将神经网络裁剪问题转化为一个带约束的单目标优化问题,并使用非梯度优化算法来求解一组能找到的最佳阈值。然后,本文选取了面对一个具体应用的一类深度模型,研究了如何针对性地压缩这一类模型。本工作选定的具体应用是机器翻译(Machine Translation),目前采用深度模型处理机器翻译任务的做法统称为神经机器翻译(Neural Machine Translation,简称NMT)。相关的深度模型也被称作NMT模型。NMT模型中的存储瓶颈主要来源于其采用的深度神经网络,故依然是深度神经网络的压缩问题。在该问题上,LMP也是常用的一类算法,但是NMT模型采用的DNN,其连接结构相当复杂,而已有的工作在应用LMP时并没有针对这些复杂结构进行相应调整。这使得LMP算法效果并不显著,因为LMP算法隐含地假设DNN中性质相近的连接(既连接会参与到同一个原子操作中)处于同一层中,而这个假设不一定适用于NMT模型采用的DNN。针对这个问题,本工作选取了 NMT模型中较有代表性的三个模型(这三个模型主要区别在于采用不同的DNN模型),并详细研究了不同的连接分组对裁剪结果的影响。因为模型的裁剪结果不但与连接分组有关,也与裁剪阈值相关,为了在选定分组方法后,能找到一个尽可能好的裁剪模型,本工作将第一个工作中提出的OLMP算法拓展到了基于不同分组的裁剪算法中,这样即可通过优化的方法自动找一个裁剪模型。最后,本文测试了不同的连接分组策略在裁剪性能上的区别,并分别对NMT常用的两种连接结构总结出了相适应的分组策略。最后,本文选定了一个针对具体应用的一个深度模型,研究如何加速其中非神经网络部分的计算。本工作选定的模型,是针对物体检测的Region-based CNN(简称R-CNN)模型。R-CNN模型包含两个部分,第一部分是分析图片并将图片中可能包含物体的区域切分出来,这些可能包含物体的区域被称为Region of Interests(简称RoIs);第二部分则是使用卷积神经网络(Convolutional Neural Network,简称CNN)对RoIs进行分类,以确定每个区域是否包含某个可被识别的物体,或为无法识别的背景。R-CNN模型在实际应用中存在一个难点,RoI的生成没有行之有效地加速方法,使得在资源受限的平台进行布置时,RoI的计算过程将成为速度上的瓶颈之一。本文针对这个问题进行了研究,并提出了 Relief R-CNN(简称R2-CNN)方法,这个方法通过直接从CNN的卷积层中抽取RoI的做法,极大地简化了 RoI的计算流程,最终可以在维持一个较为不错的检测精度的前提下,将原本占总时间63.5%～98.7%的RoI生成时间简化到只占总时间的0.3%。