大数据时代,数据规模越来越大,并且具有多样性和低信息密度等特点。这样的背景下,互联网内以文本形式存在的新闻数量繁多,而且难以进行管理。现阶段,处理文本数据的方法以BERT等预训练语言模型为代表,这类模型具有深层并且复杂的内部结构。BERT等模型在训练阶段先在大规模语料库上进行预训练,再根据不同的下游任务进行微调,相比于传统方法,这类方法拥有更强大的性能和更好的迁移性。本文重点研究BERT预训练模型,通过微调实现新闻文本分类。结合新闻文本的特点,研究了 BERT的内部原理、训练方式和输入特征,提出了针对输入处理过程的调整策略。实验阶段,在提取的THUCNews子集上完成了微调训练,并进行了与基准模型的对比实验以确定最佳输入处理策略。使用能体现精确率和召回率整体性能的F1分数作为实验指标,在测试集上F1分数达到了 0.956,该结果表明BERT比其他基准模型有更好的分类效果,通过分析也发现了该模型存在训练盲区、灾难性遗忘和过拟合等问题。针对BERT模型存在的问题,依据模型结构特点和相关理论提出了 N-BERT模型。该模型引入了对抗训练、动态学习率和分层自适应调节等机制,其中对抗训练通过构造对抗样本解决训练盲区问题、提升鲁棒性;动态学习率通过调整不同阶段的学习率减少过拟合;分层自适应调节通过对不同层级的学习策略进行划分来缓解灾难性遗忘。在此基础上,还应用集成学习构建了由N-BERT、Bi-LSTM-Attention和TextCNN组成的融合预测网络,进一步提升模型的泛化能力。在实验阶段,针对几种改进方法进行了对比实验,引入的几种方法都能使F1分数有不同程度的提升,应用集成学习的融合预测网络在测试集上F1分数达到了 0.973。结果表明,N-BERT相比BERT具有更强的分类性能和稳定性,同时集成学习可以有效地提高模型的泛化能力。