自然语言处理是计算机科学以及人工智能的子领域,是人工智能领域的核心问题之一,它旨在研究如何让计算机分析及处理大量人类的自然语言数据。文本分类是自然语言处理领域的基本问题之一,它是把某个类型标签分配给特定的文本单元。文本分类的应用范围十分广泛,其中包括推荐、问答、情感分析、垃圾邮件检测、新闻分类、用户意图分类等。由谷歌团队于2018年发布的,基于自注意力机制的BERT预训练模型,一经面世就打破了多项自然语言处理任务的记录。以该预训练模型为蓝本作迁移学习的研究近年来如火如荼地展开。而理解BERT预训练模型较为复杂,要理解它的原理需要很多前期的学习和研究,其中包括传统的循环神经网络(Recurrent Neural Networks,RNN)、长短期记忆神经网络(Long Short-Term Memory,LSTM)、包含注意力机制(attention)的序列到序列神经网络(Sequence to Sequence,Seq2Seq)、包含自注意力机制(self-attention)的Transformer模型等等,这样才能理解和把握BERT的精髓。本文回顾了解决文本分类问题的传统方法和深度学习方法,梳理了文本分类问题的基本流程,重点阐述了自注意力机制和Transformer模型的编码模块的工作原理,以及BERT模型与Transformer的异同,在此基础上提出了用BERT解决文本分类的两种尝试。本文的主要研究工作如下:(1)深入研究了自注意力机制和Transformer模型编码模块的工作原理;(2)自注意力机制和Transformer模型的编码模块是理解BERT预训练模型的重要基石,只有理解了自注意力机制才能理解BERT作为文本特征提取器优于其他之前各种自然语言处理模型的优势的原因,才能明白它所采取的预训练任务为什么能够实现。而由于BERT是Transformer的编码模块堆叠而成,所以对Transformer的整体架构以及编码模块进行了分析;(3)依据训练集的特点有针对性地地做好数据预处理工作;数据的质量决定了机器学习模型性能的上限。只有认真做好数据预处理工作。才能更好地发挥BERT预训练模型的优势。(4)利用BERT预训练模型结合预处理好的数据做迁移学习。本文采用了两种方式做迁移学习,第一种是利用数据集对BERT进行微调来进行文本分类;第二种是把BERT的最后一层的序列向量输出做mean-max-pooling,目的是抽取每一个序列的均值和最大值特征,然后把新的序列特征向量通过前馈神经网络做线性变换后进行文本分类。最后,将两种方法做对比分析,发现第二种方法得到的模型性能优于第一种方法,分类准确率提升了约1.6%。因此,在现有数据集下,第二种方法更具有借鉴意义。