机器阅读理解是自然语言处理中十分有价值的研究领域。自预训练语言模型诞生以来,使用预训练语言模型解决机器阅读理解问题以及其他自然语言处理任务已成为一种趋势。但例如BERT模型只允许固定长度的输入,这限制了模型对文本中时序信息的获取和利用。此外,历史问题中的时序信息也不能较好的提取使用。本文的研究工作针对自然语言中的时序信息展开。具体如下:1、针对预训练语言模型BERT在获取较长文档的全局信息存在的限制问题,提出一种基于文本段落时序信息的机器阅读理解方法。首先,该方法使用预训练语言模型BERT获得较为准确的词向量特征表示,而BERT中的位置编码机制有利于获取细粒度的文字时序位置信息;使用时序信息提取模块获取更加丰富的文本时序信息,解决文本段落中的时序信息获取的问题;使用信息交互传递模块进行分段间的时序信息传递,更好的整合使用文本全局信息。2、提出一种基于历史问题时序信息的机器阅读理解模型。除了文章段落,问题中往往也蕴含着时序信息。在对话类阅读理解任务中,模型可以将历史问题的信息融入到当前要回答的问题中。已有工作通过拼接法将历史问题信息融入文本中,这种方法不能有效地进行信息交互。基于历史问题时序信息的模型先通过BERT模型得到历史问题、当前问题和文章的词向量表示,再利用Bi-LSTM＿Attention网络对历史问题、当前轮问题和文本进行更深入的交互。由于Bi-LSTM＿Attention网络结合了长短时记忆网络与注意力机制的优点,可以过滤掉无关信息、也可以将历史问题中的有用信息整合到当前问题中来,解决了历史问题中的时序信息的过滤与利用的问题。基于文本段落时序信息的阅读理解方法在Co QA数据集上的实验结果显示,与基准的对比模型相比,该模型F1值提高了1.5%。基于历史问题时序信息的机器阅读理解模型实验在两个对话类数据集（Co QA、Qu AC）上进行。实验结果表明模型在获取历史问题时序特征信息的有效性。