随着大数据和深度学习的发展,产业界和学术界对建立对话系统的兴趣激增。对话系统有着巨大的商业价值和社会价值,但建立一个开放域的闲聊机器人具有挑战性,因为它要求对话系统能够回复人的各种主题类型的输入。对于闲聊机器人,其主要任务是回复选择,目前主流研究侧重于上下文对话和候选回复之间的匹配模式,对上下文对话的内部关联信息和对话之外的外部知识关注得不够。对于这些问题,本文在已有的研究基础上,对检索式多轮对话中回复选择的关键问题进行了研究和改进,具体内容如下:为了更全面和准确地利用上下文对话之间的内部关联信息,本文提出了一种对上下文对话的差分信息进行建模的方法,通过使用注意力机制来获取每轮对话与其前后轮对话之间的交互信息。实验结果表明提出的方案可以有效地利用上下文对话的差分信息,进一步丰富了对话的表示信息。其次本文提出了一种对上下文对话的图谱信息进行建模的方法,通过使用TextRank来建立上下文中每轮对话之间的依赖关系,以此获得每轮对话对于回复选择的权重。实验结果表明提出的方案可以有效地利用上下文对话中的图谱信息,进一步改善了模型的匹配算法。为了更有效地利用外部知识来提升模型的效果,本文提出了一种基于外部知识的学习框架,通过为BERT模型定义两个预训练任务,使其学习到对话中需要的问答和语序结构等外部知识,然后再在对话数据集上进行微调。实验结果表明提出的方案可以使模型有效地学习到预训练任务中的外部知识,进一步提高了对话系统的准确率。