文本的特征提取及表示是文本挖掘领域的一个首要问题,它是文本分类、摘要提取等自然语言处理任务的前提。随着人工智能技术的快速发展,文本特征表示方法结合深度学习网络成为自然语言处理领域的主流方法。针对不同粒度的自然语言处理任务,单模型的文本特征表示方法无法为不同粒度的下游任务提供更准确的文本特征信息。例如针对句子级别文本特征表示方法,单模型的文本特征表示方法往往只关注局部文本特征,从而丢失重要的全局信息。针对文档级别文本特征表示方法,需要考虑单词、句子与文档三者之间的关系,力求得到更具体的文档级别特征信息。本文对于不同粒度的自然语言处理任务,提出有针对性的文本特征表示方法,本文研究内容如下:（1）本文提出一种利用BiReGU和胶囊网络的句子级别文本特征表示新方法,即BiReGU-Capsule模型。该模型中BiReGU是全局特征提取模块,全局特征提取模块采用基于注意力机制的双层BiReGU模型,捕获到的全局信息更加全面具体。Capsule是局部特征提取模块,采用基于注意力机制的胶囊网络模型,首先进行多头注意力计算,减少噪声胶囊的影响,并且在得到全局特征信息后,加入基于注意力机制的交互融合,在提取局部特征信息的同时关注到全局信息。BiReGU-Capsule模型在文本分类任务中进行实验,分类结果优于基线模型,尤其在多类数据集上本文提出的BiReGU-Capsule模型表现出色,Macro-F1值相比于传统Capsule模型提升了2.6%。（2）本文提出一种基于BigBird的文档级别文本特征表示方法,即BigBird Sum模型。该模型采用层次化的特征表示方法,捕获到文档数据中不同粒度信息之间的关系,使用句子编码层和文档编码层两部分,句子编码层采用稀疏注意力的BigBird模型,降低了模型时间和空间复杂度,同时增加了输入文本序列长度,充分关注更长的文本上下文,文档编码层采用Transformer模型,针对句子编码层的句子特征输出,提取句子与文档之间的关系,从而整个模型可以同时关注单词、句子和文档之间的关系,BigBird Sum模型在摘要提取任务中进行实验,与基线的摘要提取模型相比效果更好,尤其在NYK50数据集上,本文提出的BigBird Sum模型表现出色,在ROUGE-L评价分数上分别比Transformer和Bert基线模型高3.47%和2.50%。