论文部分内容阅读
基于Python语言,利用公开中文语料库,测试不同算法模型对中文文本分类的效果。选择语料中不同数量的语料种类,首先对文本进行格式化读取、清洗等处理,而后以2∶1∶1的比例,分为训练集、验证集、测试集,最后依照文本表示、特征提取、分类算法选择、效果评估的步骤,依次在词袋、词嵌入、语言3种模型中选取典型代表进行中文文本分类。在深度学习模型的帮助下,文本分类得到了快速的发展,当前的主流分类方法基本都能满足不同任务的文本分类需求,特别是BERT语言模型可极大地提升文本分类的效果。