近年间得益于强大的硬件计算性能和深度学习的蓬勃发展,以BERT为代表的自然语言模型陆续登上舞台,其在GLUE、SQu AD和RACE等自然语言处理测试任务集上取得了SOTA的优异成绩。与此同时,在通用领域上取得优异成绩的BERT模型却因受限于预训练过程中的语料规模,训练过程中缺少专业领域的事实知识,导致其准确度性能在专业领域中受到限制。目前已有学者提出知识增强型BERT模型,通过引入外部专业知识改善模型在不同领域下游任务中的知识缺失问题,取得比原始BERT模型更高的准确率。但由于知识增强型BERT通过引入大规模外部知识对模型进行增强,导致模型对计算资源需求和训练时间急剧攀升。并且通过向BERT模型引入外源知识的提升其知识认知水平的同时,也存在对引入外源知识学习不充分的问题,在此过程中信息噪音也会影响模型的稳定性与泛化能力。针对上述提出的问题,本文主要研究的是快速引入外源知识的知识增强方法和增强模型事实知识认知和泛化能力的知识增强方法。首先,本文研究了学术界中利用知识图谱对BERT模型进行知识增强的技术实现,并提出基于文本关联语料生成的知识增强方法。文中通过公式对文本关联语料生成方法进行描述,并在时间复杂度上推理证明其对比传统方法具有明显速度优势。然后设置实验对基于文本关联语料生成方法的BERT模型进行准确率性能测试,并与其他相关模型方法进行比较。实验结果表明该方法能在引入外源知识的同时,充分降低为BERT模型引入外源知识的计算资源代价,分别在知识引入与训练阶段平均减少了53.5%与37.4%的计算耗时。其次,为进一步提升BERT模型利用外源知识的能力及减少其训练过程中的过拟合现象,本文提出使用增量学习任务d EA及梯度优化算法Child Tuning F对模型进行调整。d EA任务通过利用原有的BERT模型任务及结构,联合外源知识库提供的知识实体对模型进行增量学习训练。同时,通过修改优化器对模型训练过程实现梯度计算的优化操作,该优化算法在理论推算上证明了其可有效的提升模型的泛化能力。最后在实验中验证了联合增量学习与梯度优化的知识增强方法能有效的进一步提升模型的精度性能,在实验中准确率对比BERT平均提高1.87%,同时减缓了模型在下游任务的小规模数据中过拟合现象。最后,在项目实例中应用BERT模型构建了智能问答系统的核心模块,通过知识图谱提供的外源知识和前述的两种知识增强方法对BERT模型进行知识增强,强化其在专业领域的知识认知能力,提升了其在专业领域任务上的准确率性能。随后在专业领域数据集中进行实验验证,经实验证明两种方法知识增强后的BERT模型较原始版本提升10.07%的准确率性能,最后在真实场景中验证智能问答系统的有效性。