随着信息技术的不断发展,现如今越来越多的信息以电子文本数据的形式进行呈现。面对爆炸式增长的数据量,从中自动地高效快速提取所需的信息成为自然语言处理研究的热点。移动互联网的普及更使得短文本成为电子文本的主体,因此利用短文本语料进行语义相似度研究拥有了大量的研究资料和广泛的应用价值。短文本语义相似度判定任务是指对于给定的一组句对从语义层面来判定它们是否表达相似的含义,文本相似度判定可以被看成是一个相似或者不相似的二分类问题。目前对于短文本语义相似度判定任务的算法研究主要集中在对文本表示方法的研究,其中基于深度学习的BERT预训练模型,由于其灵活的训练方式和强大的表征能力,在许多任务中被深入的研究和应用。本文针对BERT预训练模型在短文本上表示能力的不足进行改进,提出了BERT＿RF＿S和Topic＿BERT＿S两个模型。主要改进如下:1.BERT预训练模型应用到短本文的相似度判定任务上时,会因为样本的数量不足而限制其对文本的表征能力。针对这一问题,本文提出了BERT＿RF＿S模型,通过快速梯度方法生成噪声样本输入训练实现表示增强,提高模型表征能力。2.BERT预训练模型仅仅是对文本的上下文语义信息进行编码,缺乏可以概括全局的主题信息。为了形成更全面的文本表示,本文提出了基于变分自编码器的主题模型。该模型可无监督训练,其生成主题信息表示可以与语义表示融合,弥补词语级别的主题信息缺失。3.在对语义表示与主题模型生成的主题表示进行融合时,由于不同模型收敛速度的不同而导致效果不理想。为了解决这一问题,本文提出了基于多任务学习的Topic＿BERT＿S模型,将有监督模型和无监督模型进行融合,同时学习文本的语义信息与主题信息,最终让BERT＿RF＿S模型和主题模型可以同时收敛达到最优,生成具有更全面信息的文本特征表示用于短文本语义相似度判定。最后将Topic＿BERT＿S模型分别应用于新闻、金融、医学领域的中英文标准数据集上,结果表明由于Topic＿BERT＿S模型在表示增强、引入主题信息、多任务学习方面的改进,在相似度判定准确率上都明显优于改进前的模型,且与目前先进算法相比Topic＿BERT＿S模型也处于主流水平。