深度神经网络的运算通常都依赖于高性能的显卡,大容量的存储,优良的散热系统等,这些设备的高昂成本严重制约了其进一步发展和推广。同时,性能越优异的网络,其参数量和模型复杂度也越大,而一般的计算设备几乎无法运行。因此,对深度神经网络的压缩与加速成为业界的研究热点,但是对复杂模型进行轻量化设计,通常又会导致模型精度的损失。面对模型的轻量化导致精度下降的问题,本文以深度残差网络Res Net为例,对深度神经网络的轻量化与精度提升进行了系统的研究。以目前主流的模型轻量化方法知识蒸馏为基础架构,提出了结合聚焦式注意力机制（Focused Attention Mechanism,FA）、采用对抗生成学习（Generative Adversarial Learning,GAL）模式、基于集成学习（Ensemble Learning）的多教师混合教学网络的残差网络,改进后的网络有效地提升了图像分类任务的准确率。本文主要研究内容包括:（1）研究了聚焦式注意力机制在图像分类任务当中的应用,提出了聚焦式注意力机制与知识蒸馏相结合的网络结构。通过注意力评分机制,使得蒸馏后的深度残差网络聚焦于与目标任务相关的重要特征,对与结果无关的信息进行过滤,实现了计算资源的集中和高效利用。同时引入快捷连接,实现了权重与分值的跨层传输,避免了长距离训练造成的信息冗余,很大程度上解决了深度神经网络因网络层数过深,可能丢失前段重要信息的问题。（2）研究了对抗生成学习与知识蒸馏中教学模式之间的关系,提出将教师学生网络的教学模式转化为竞争性学习,引入判别器对教师网络和学生网络的输出结果进行区分。通过对参数的不断调整,缩小学生网络与教师网络之间的差距,增强了教师和学生的互动学习效果。在教学过程中,教师网络不断对学生网络进行监督,并与学生网络同步进行训练,保证了模型参数的及时更新,提升了学生网络应对相似任务的判别性,提高了训练效率。（3）提出了基于集成学习的多教师混合教学网络训练模式。用多教师混合教学网络代替传统的单个教师网络,以增强教师网络的教学广度与教学能力。在训练过程中,学生模型可以从多个教师网络中学习,使学生网络获得了更多的有效信息,增强了学生网络的性能。