近年来,基于自注意力机制的神经网络模型在机器翻译、自然语言推断、情感分析、文本摘要和问答等自然语言处理任务上取得突出的成绩,同时也被广泛应用于图像分类、目标检测、语义分割和图像生成等计算机视觉任务,作为各种预训练模型的核心架构,业已成为深度学习中主流模型之一。但是,自注意力神经网络模型具有参数量庞大、计算成本高昂等问题,这使得它难以被部署到如智能手机等端侧设备上,很大程度上制约了它的应用场景。因此,压缩自注意力神经网络模型对于扩展其应用场景具有重要意义。本文主要研究对自注意力神经网络模型“基于Transformers的双向编码器表示”（Bidirectional Encoder Representations from Transformers,BERT）的压缩方法,旨在不损失模型准确率的前提下尽量缩小模型大小,降低模型的推理计算开销,实现模型的轻量化,研究内容包括以下两点:（1）针对模型大小过大难以与移动应用整合的问题,本文创新性地提出从多目标优化的角度建模自注意力神经网络模型压缩问题,分别把模型大小与模型准确率作为两个优化目标以实现在尽可能不牺牲模型准确率的情况下把模型压缩到最小。该方法运用有损压缩算法Squeeze（SZ）压缩模型权重参数,利用多目标优化算法来优化SZ算法的压缩配置。在通用语言理解评估的6个分类数据集上的实验表明该方法最小能把模型压缩至5.6 MB,压缩比高达74.7,远优于其它方法。（2）针对推理计算成本高的问题,本文提出了基于早停机制与量化的联合压缩方法。该方法不追求更低比特数的量化,而是在8位整数量化的基础上引入了早停机制,它用更快的整数运算替代浮点数运算进行推理,并且可以提前退出计算,实现推理加速的目的。另外,为了缓解该方法对模型准确率的损伤,本文还针对性地提出了三阶段微调。实验结果表明本文方法能够在保持准确率的同时有效降低模型计算成本,在通用语言理解评估数据集上取得2.5倍的加速比。