知识蒸馏是一种简单有效的模型压缩方法。该方法利用来自训练良好的教师网络（大型网络）的知识,来辅助学生网络（小型网络）的训练,从而有效提升学生网络的表现。虽然知识蒸馏的相关技术已经比较成熟,但仍然存在很多问题:（1）一般情况下教师网络与学生网络之间存在师生差距,来自教师的知识不能被学生有效地学习,导致学生的效果不佳;（2）教师知识类型探索的相关研究有很多,但是什么类型的教师知识更有利于学生的学习仍然是难点;（3）教师网络中存在的错误信息会对学生网络造成影响;（4）在线蒸馏会导致各个学生之间的差异性越来越小,这种严重的同质化会阻碍学生性能的提升。针对上述问题,本文对知识蒸馏方法进行了深入的研究,主要贡献有:（1）提出自提升特征蒸馏方法。该方法从一种新的角度解决师生差距问题,即利用学生自身的信息来提升学生的学习能力,从而缓解教师和学生的差距。一方面,利用学生的特征做特征集成,使得学生特征更具有判别性,用更具判别性的学生特征去拟合教师的原始特征。另一方面,提出一种新的自蒸馏策略,只利用学生前一轮模型的参数对当前轮的学生参数做再更新,不增加内存占用和前向传播过程。此外,利用Richardson外推法解释了基于自提升的特征蒸馏的有效性,特征集成能提高学生的收敛阶。实验表明,该方法的蒸馏性能明显优于对比的知识蒸馏方法。（2）提出基于对比学习的在线蒸馏方法。针对在线蒸馏中各学生网络同质化严重的问题,将样本间的相似性作为学生之间相互学习的知识,以降低学生之间的耦合性;设计一种新的损失函数来适度地提升学生之间的差异性。此外,将多个学生网络的集成作为教师,剩下的网络作为组长,对组长网络采用额外的自蒸馏损失来缓解师生差距。实验结果表明,该方法有效地提升了学生之间的差异性,且提升了组长和集成教师网络的性能,明显优于其他在线蒸馏方法。（3）提出基于无参损失估计的知识蒸馏方法。针对经典蒸馏损失难优化以及温度超参数难确定的问题,设计四种基于信息归一化的无参损失函数,显著提升了蒸馏效果。此外,考虑到知识蒸馏实质上是学生函数在离散的数据点上拟合教师函数,为了提升数据点的密集度和丰富度,提出类内邻域采样策略,使得学生能够捕获更丰富的教师知识。实验表明,所提出的方法明显提升了学生网络的分类性能。