论文部分内容阅读
答案选择(answer selection)是问答的一个核心子任务,同时也是自然语言处理领域中一个重要且极具挑战性的任务。现有的答案选择模型主要是基于卷积神经网络或循环神经网络的深度模型。但是卷积神经网络和循环神经网络在处理文本时都存在一定的局限性。最近被提出的自注意力网络在多个领域证明了其优异的性能,但自注意力还没有被用于答案选择任务。本文将自注意力应用于答案选择,据我们所知这是第一个将自注意力用于答案选择的工作。同时,本文针对答案选择任务的特点,设计了新的自注意力模型。本文具体包括如下三个创新贡献:已有的自注意力模型存在局部信息和全局信息没有明确区分的问题。为了解决该问题,本文提出了门控分组自注意力(gated group self-attention,简称GGSA)模型。GGSA通过分组自注意力捕获局部信息,从而显式地区分全局信息和局部信息,并通过门控(gate)机制将两种信息结合起来。基于GGSA,本文还提出了一种新的基于残差的交互机制,使答案在编码过程中可以考虑问题的信息。在两个答案选择基准数据集上,GGSA可以超过现有模型并取得最好的结果。已有的模型因答案选择任务中问题和候选答案的长度有限,缺少上下文之外的背景信息和知识而受到限制。为了解决该问题,本文基于预训练自注意力模型BERT提出了BERT-AS(BERT based answer selection)模型。通过在大规模语料上预训练,BERT的模型参数中编码了丰富的通用知识和自然语言现象,因而可以有效地提高答案选择模型的表现。在三个答案选择基准数据集上,BERT-AS可以超过现有模型,取得当前最好的结果。已有的基于交互机制的答案选择模型在用于在线预测时存在效率、存储开销问题。为了解决该问题,本文提出了一个基于哈希学习的答案选择(hashing based answer selection,简称HAS)框架。当HAS采用自注意力模型BERT作为编码器时,本文构建了一个基于自注意力哈希学习的答案选择模型。HAS采用哈希学习技术为每个答案学习一个二值矩阵表示,这极大地减小了存储矩阵表示所需要的存储开销。通过将这些(二值)矩阵表示存储在内存中,HAS在在线预测时可以避免对答案表示的重复计算。借助这一技术,HAS可以采用像BERT、GPT-2这样复杂的编码器,同时又保持快速的在线预测效率和较低的内存开销。在三个答案选择基准数据集上,HAS可以超过现有模型,取得当前最好的结果。