随着大型的预训练模型在自然语言处理中流行,一种“预训练-微调”的范式越来越多的应用在下游任务中,对一个预训练模型进行微调训练后就能取得不错的效果。预训练模型给科研工作带来巨大便利的同时,也朝着更大规模、更加普适的方向发展。同时,这也对使用模型的硬件环境提出了更高的要求,使得在一些边缘设备和计算能力受限的设备中训练或部署模型十分具有挑战性。并且在机器阅读理解任务中,获取大量标注的数据用于模型训练是十分困难的。为了解决数据集稀缺的问题,一种采用“预训练-提示-预测”范式的提示学习方法逐渐成为研究热点。提示学习将下游任务改造成预训练任务,使得模型能够充分利用预训练中获取的知识,从而提高模型的表现。BERT模型是当前热门的预训练模型,能够通过上下文内容动态表征单词,在文本分类、机器翻译、问答系统等机器阅读理解任务上都优异的成绩。然而BERT模型存在着模型体积大、推理速度慢的问题。本文在对BERT模型深入研究的基础上,对其进行优化改进,并且根据模型的特点探索其在提示学习方法上的表现。具体工作如下:（1）针对BERT模型参数量大、训练速度慢和不易部署的问题,本文提出了一种基于知识蒸馏的方法对模型进行压缩。在知识蒸馏的过程中,根据蒸馏的软目标和硬目标,制定相应的损失函数。同时本文对模型的结构进行优化,移除了嵌入层中的句子嵌入,将位置嵌入改为正弦位置编码。并且提出了一种隐藏层调度策略,缓解因参数量减少而造成的性能损失。本文优化了预训练任务中数据的处理方式,增加低频单词被掩码处理的概率。最后通过对比实验证明,改进后的BERT模型能够在少量性能损失的情况下,减少52.1%的参数量,提升25%的推理速度。（2）针对获取大量标注数据困难的问题,本文探究了一种基于BERT模型的提示学习方法,测试其在情感分析任务中的效果。首先对使用的任务数据集进行统计分析,得出各个单词在不同情感极性中出现的频率。然后根据统计结果制定出相应的提示函数和答案空间,将下游任务改造成预训练任务。最后通过实验结果证明,基于BERT模型的提示学习方法在零样本情况下准确率能够达到67%,在小样本情况下也能不同程度的提升模型性能。