文本的表示学习是很多自然语言处理任务的基础,文本表示的质量也直接影响了下游分类、生成等任务的表现。从简单的独热表示、词包表示,到静态词嵌入以及有监督文本表示学习,文本表示方法已经取得了一系列的进展。近年来,以BERT为代表的基于Transformer结构的预训练语言模型在各类自然语言任务上取得了显著的进步,已经成为了提取文本表示的默认选择,得到广泛应用。但最新研究表明这类预训练语言模型提取的文本表示存在各向异性问题,即文本表示在不同方向上的分布极不均匀,这使其词相似度和文本相似度的计算准确性较低,影响文本表示在下游任务上的表现。本文分别针对预训练语言模型的词表示和句表示进行研究和改善。1.针对预训练词表示存在的各向异性问题,提出基于权重地去除词嵌入主导方向的方法进行改善。通过测量BERT预训练模型词嵌入的平均余弦相似度等几何特征,并分析其主成分方向投影和奇异值分布,发现BERT预训练词嵌入存在不同方向上的非均匀分布,导致词向量的表示能力受到损害。因此,本文提出了有权重去除BERT词表示中的主导方向来解决该问题,每个主导方向对应一个可学习权重来确定该方向去除的比例,通过在词相似度任务上学习调整这些权重。实验表明本方法缓解了词向量的各向异性问题,并提升了其在词相似度、词类比和文本语义相似度三个标准评估任务上的表现。2.针对预训练模型句表示存在的各向异性问题,提出结合模板（Prompt）技术和对比学习的方法进行改善。首先本文通过模板工程在无训练的情况下提升BERT预训练句表示在文本语义相似度任务上的表现,并分析不同模板对句向量的影响,发现标点使用对BERT模型句向量存在很大影响。基于上述分析,本文提出基于模板数据增强的无监督对比学习模型,该模型使用模板中的[MASK]符号输出层向量作为句表示,并在维基百科语料上使用归一化温度控制交叉熵损失函数（NT-Xent）进行无监督对比学习。模型在多个文本语义相似度的公开数据集上进行实验,验证了该方法对于改善BERT句表示的有效性。