自然语言信息是人类社会基础的交流载体,大量的信息交流以文字作为传播媒介,进入信息时代后,在海量的文本信息基础上衍生出了多样的自然语言处理任务,深度学习在处理自然语言任务上表现出优异的性能。近几年来出现的预训练语言模型更是自然语言处理研究方向上一个里程碑式的研究进展,但是随之而来也有很多问题,网络模型臃肿,过参数化特性,都极大地限制了语言模型实际的应用落地,也提高了学术研究的门槛,因此在预训练语言模型上的网络轻量化研究工作显得非常有价值。国内外学者针对预训练语言模型的轻量化进行了大量研究,但是现有的大部分研究没有区分语言模型预训练阶段和微调阶段,进而导致了网络轻量化过程仍然需要较大的计算代价。现有工作对于知识蒸馏过程中学生网络和教师网络提取到的抽象特征之间的差异缺少研究,缺少对知识蒸馏过程中噪声的建模,使得学生模型在恢复原始模型的推理能力和自身压缩率上存在不可调和的矛盾。本文针对现有问题提出了以不确定性估计驱动的基于知识蒸馏的预训练语言模型压缩方法,建模了知识蒸馏过程中存在的噪声,提高了知识蒸馏过程的效能,使得语言模型能够在具体下游任务中得到快速部署应用。本文的主要工作和创新点包括:1.针对现有语言模型轻量化过程中缺少对原始模型的性能保留,我们提出了一种新颖的应用于Transformer网络结构的知识蒸馏方法。具体来说,通过对教师网络进行合理的模块参数复制和模块知识蒸馏,统一了学生模型在具体下游任务上微调和知识蒸馏的两个网络训练过程,使得网络参数的再训练仅在微调阶段进行,减轻计算负担的同时性能精度损失较少。2.针对知识蒸馏过程中存在教师网络和学生网络特征差异这一问题,本文设计一个不确定性估计模块（Uncertainty Estimate Module,UEM）,通过这个新的网络分支来估计网络提取到的特征的不确定性,以高斯分布建模知识蒸馏中存在的噪声,估计特征分布的均值和方差,借此来指导知识蒸馏过程,使得学生模型能够更好地模仿教师模型的特征抽取过程,提高了知识蒸馏的效率。3.本文将提出的语言模型压缩方法在BERT网络上进行了轻量化,并将轻量化后的小型网络应用于实际的文本检索问题,通过网络轻量化和多阶段来提高检索速度,通过语言模型解决文本检索问题中语义理解问题,最终搭建了一个基于轻量化语言模型的多阶段论文检索系统。本文提出的结合不确定性估计的知识蒸馏方案为预训练语言模型的轻量化提供了新的解决方案,与同类网络压缩方法的比较中有较为明显的优势,同时也带来了一种语言模型知识蒸馏的新视角。