随着人工智能技术的发展,许多领域都出现了人工智能与传统行业的深度融合,诞生出了各种改变人们日常生活的应用。医疗作为与民生密切相关的领域,人工智能与医疗进行深度融合必然能够极大地提升人民的生活水平,因此将人工智能深度赋能医疗吸引了许多研究人员、政府人员和企业人员的关注。互联网上丰富的医疗信息和不断发展的自然语言技术,使得对医疗信息的挖掘和应用成为可能。本文针对融合知识的预训练模型在阅读理解中的应用这一课题,首先分析了现有的预训练模型在进行医疗领域迁移的过程中遇到的知识壁垒问题,然后分别从融合知识图谱结构化知识的预训练模型和融合文本非结构化知识的预训练模型两种方法进行研究。最后本文面向实际医疗问答场景,对该系统的检索、抽取、排序三个模块分别进行了研究。在融合知识图谱中的结构化知识的实验中,本文首先提出了两种预训练模型融合结构化知识的方法,一种是基于文本增强的知识融合方法,一种是基于图表示增强的知识融合方法。最后实验验证了基于文本增强的知识融合方法相比于BERT模型取得了较大的提升,基于图表示增强的知识融合方法在本文的模型结构下也有一定的提升。在融合文本非结构化知识的实验中,本文的核心思路就是通过掩码语言模型任务,让模型在大规模的医学文本上预训练,学习到文本中蕴含的隐式知识。本文首先介绍了本文使用的BERT模型的结构,然后提出了三种掩码任务——单字掩码,整词掩码,实体掩码,最后进行实验证明了实体掩码的效果优于整词掩码优于单字掩码。在对医疗问答系统的设计中,整套系统分为三个模块——检索,抽取,排序。本文首先介绍了基于BM25算法的检索器,然后本文使用第2章和第3章中训练得到的预训练模型进行阅读理解任务,并选取最好的模型作为系统的抽取模型。最后本章提出了面向候选答案的基于自注意力机制的排序模型,然后分析了答案上下文对于答案排序的重要性,提出了结合文档和答案的排序模型,实验表明两步改进都提升了最终的排序性能。