随着计算机行业的快速发展,人们获得的信息和采集的数据不断增加。聚类算法作为数据挖掘的一种常用工具,可以有效地分析数据之间的关系,亦可高效地处理海量数据。本文对文本聚类算法进行深入研究,主要包括文本距离计算方法和聚类划分算法。过去的工作大多数使用Word2vec实现文本向量化,没有体现词的多层特性,不能解决一词多义的问题;针对这些问题,本文采用ALBERT处理文本向量化,文本向量可以更好地表示文本特征。聚类过程中使用的文档距离计算方法多是传统的距离计算数学公式,无法准确地表示文档之间的距离;本文提出了一种基于ALBERT的长文本距离计算模型（Long text distance computation model base on ALBERT,LTDCM）,根据THUCNews数据集文本的特点,将文本分段后经过ALBERT处理组成分段矩阵,并利用Bi LSTM产生位置矩阵,将两个矩阵求和送入Transformer编码器进行特征提取,最后对两个文本矩阵进行池化、拼接后输送至全连接层经由激活函数输出两个文档之间的距离。由于文本经过ALBERT处理成向量为高维数据,而密度聚类算法在高维数据集上表现并不好,划分聚类算法中的K均值算法适用于高维数据集,但算法性能非常依赖于初始类中心点的选取。针对K均值算法随机初始化带来的不稳定性,提出一种融合密度和划分的文本聚类算法（Text clustering algorithm combining density and partition,CDP）,根据文本距离来定义文本密度,并通过密度筛选出适合作为初始类中心点的集合,然后采用最远距离选取思想来逐步选取初始类中心点,最后根据距离就近原则划分数据集,更新聚类中心并重新划分直至聚类结果稳定。实验表明,在THUCNews新闻数据集上,ALBERT模型可以很好的表示文本特征;基于ALBERT的长文本距离计算模型可以较为准确地表示两个文本之间的距离;融合密度和划分的文本聚类算法在文本聚类问题上拥有优秀的表现。