当今社会,随着经济不断发展,汽车成为家庭主流的代步工具。回看近十年各大汽车品牌在国内的销售排行发现,一批国内本土新品牌如春笋般拔地而起,其主要原因就是近些年传统汽车行业的衰退,以及新能源电动技术的发展,伴随着的人工智能,物联网（车联网）的兴起,大批软件公司和互联网巨头都纷纷选择投入到新型汽车产业中。这样的状况与趋势势必对产业链上的零部件研发企业带来了巨大的挑战。对于汽车零部件研发企业来说,其核心竞争力就是针对上游主机厂客户的不同需求,提供高效优质的设计产品。如果要设计出符合要求的零部件,其相应的研发企业必须仔细分析客户需求清单,将其对应的准确信息传达给企业内部相应部门。产品需求清单一般由汽车主机厂编写,其会根据具体的产品组件形成相应的整体报告,并在确定下游零部件研发供应商后,交付供应商进行需求确认。此时零部件供应商内部的产品研发流程开始项目初期阶段。各子零部件部门需要针对主机厂的产品开发需求,仔细分析与本部门相关的要求,如品质及周期要求,在此基础上评估设计能力、风险、完成时间和效益等,同时也要评估和其他子零件部门的协同设计要求。因此各子零件部门针对同一份客户需求清单,需要不同的技术人员花费重复时间对内容进行阅读和摘取,而且负责的技术人员必须具备丰富的产品知识,无法短期内进行培训上岗。因此目前在很多企业内部,对如何采用自然语言处理技术代替人工,实现需求文本信息分类引起了很多关注和研究。本文就如何通过语言模型如何实现汽车零部件领域目标文本分类做出了针对性的研究。通过研究发现汽车领域文本存在很多专业词汇,这些词汇其中有很多在百度,维基百科等通用语料中很少出现,有一些甚至是专业词组的缩写,并没有在通用语料中出现过。在对具体客户需求文本进行句子分类任务时,通用预训练模型的特征向量并不能很好的表示专业领域的文本内容及含义。1.本文基于通用BERT模型,加入汽车零部件领域目标任务语料进行二次预训练,扩充词典库加入相关专业词汇,并训练得出相关词向量以用于下游分类模型的初始化参数。通用基础模型采用huggingface公开的基于Pytorch BERT（BERT-Base-Uncased;隐藏层数量Hidden Layers:12;词向量维度Hidden Size:768;注意力头数Attention Heads:12）英文语言模型。原始词典尺寸为30522,扩充专业词汇后尺寸为40364。二次预训练参数量总计109514298。文本行数达到11861行。2.二次预训练完成后使用保存的结果模型和参数对下游2个目标任务（“Object Type”,和“Review Assignment”）进行句子分类,基于同样的微调设置,对比使用通用预训练模型和二次预训练后的模型预测结果,发现使用通用预训练BERT模型预测准确率（“Object Type”,和“Review Assignment”）分别达到98.85%和87.13%,使用二次预训练后的模型预测准确率达到99.14%和87.81%。两个分类任务经过二次预训练后模型预测准确率分别到达0.29%和0.74%的提升。3.同时在此结果的基础上,微调过程中的参数优化函数分别采用Adam,Adam W和Adam+Amsgrad,Adam W+Amsgrad分别对模型参数进行优化对比,结果证明采用Adam W+Amsgrad优化器更有效,相对其他两个优化器,于此结果有小幅提升。同时使用不同的模型微调参数,包括回合（epoch）数量、批量大小（batch size）和学习率（learning rate）的不同参数设定对基于Adam W+Amsgrad优化器的二次预训练模型性能进行分别验证,最终经过模型参数优化后的两个文本分类任务在基于BERT二次预训练模型的基础上,准确率分别由99.14%提高到99.32%（分类任务一“Object Type”）,和87.81%提高到88.35%（分类任务二“Review Assignment”）,两个任务各自提高了0.18%和0.54%。本文通过在通用BERT预训练模型上加入汽车零部件专业领域内文本语料进行二次预训练的模型,以及未进行二次预训练的BERT模型,同时结合早前使用的传统朴素贝叶斯（Na?ve Bayes）模型和支持向量机（SVM）模型同时对两个领域内目标分类任务进行训练预测（其中朴素贝叶斯模型和支持向量机模型分析过程在此文中并未展开讲解）,证实BERT模型在汽车零部件领域文本任务上表现优异,并且在此基础上加入专业领域语料后二次预训练的模型性能也有明显提升,证实了此方法的可行性,后续可加大二次预训练的文本范围,以获得更好的模型性能。并且本文最终调优后的模型能够直接用于后续领域内相关文本分类任务,为企业带来了实际的应用价值。