基于自注意力的答案选择

来源 :南京大学 | 被引量 : 0次 | 上传用户:ab7268062
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
答案选择(answer selection)是问答的一个核心子任务,同时也是自然语言处理领域中一个重要且极具挑战性的任务。现有的答案选择模型主要是基于卷积神经网络或循环神经网络的深度模型。但是卷积神经网络和循环神经网络在处理文本时都存在一定的局限性。最近被提出的自注意力网络在多个领域证明了其优异的性能,但自注意力还没有被用于答案选择任务。本文将自注意力应用于答案选择,据我们所知这是第一个将自注意力用于答案选择的工作。同时,本文针对答案选择任务的特点,设计了新的自注意力模型。本文具体包括如下三个创新贡献:已有的自注意力模型存在局部信息和全局信息没有明确区分的问题。为了解决该问题,本文提出了门控分组自注意力(gated group self-attention,简称GGSA)模型。GGSA通过分组自注意力捕获局部信息,从而显式地区分全局信息和局部信息,并通过门控(gate)机制将两种信息结合起来。基于GGSA,本文还提出了一种新的基于残差的交互机制,使答案在编码过程中可以考虑问题的信息。在两个答案选择基准数据集上,GGSA可以超过现有模型并取得最好的结果。已有的模型因答案选择任务中问题和候选答案的长度有限,缺少上下文之外的背景信息和知识而受到限制。为了解决该问题,本文基于预训练自注意力模型BERT提出了BERT-AS(BERT based answer selection)模型。通过在大规模语料上预训练,BERT的模型参数中编码了丰富的通用知识和自然语言现象,因而可以有效地提高答案选择模型的表现。在三个答案选择基准数据集上,BERT-AS可以超过现有模型,取得当前最好的结果。已有的基于交互机制的答案选择模型在用于在线预测时存在效率、存储开销问题。为了解决该问题,本文提出了一个基于哈希学习的答案选择(hashing based answer selection,简称HAS)框架。当HAS采用自注意力模型BERT作为编码器时,本文构建了一个基于自注意力哈希学习的答案选择模型。HAS采用哈希学习技术为每个答案学习一个二值矩阵表示,这极大地减小了存储矩阵表示所需要的存储开销。通过将这些(二值)矩阵表示存储在内存中,HAS在在线预测时可以避免对答案表示的重复计算。借助这一技术,HAS可以采用像BERT、GPT-2这样复杂的编码器,同时又保持快速的在线预测效率和较低的内存开销。在三个答案选择基准数据集上,HAS可以超过现有模型,取得当前最好的结果。
其他文献
去冬以来,上蔡县认真贯彻全国、省、市农田水利基本建设会议精神,精心组织,及早动员全面部署,合理安排,不失时机地掀起了农田水利基本建设高潮。
建设社会主义政治文明是全面建设小康社会的重要目标,如何实现这一重要目标?本文认为,社会主义政治文明建设要以人为本,尊重和保障人权;以民主为核心,发展民主政治;以制度为
1990年8月中旬,先生偕师母往杭州参加学术会议,顺道来《东南文化》编辑部做客,这是我真正第一次面见先生,他平易的风度、睿智的谈吐和潇洒而富有亲和力的微笑,让我们感到先生与他钟情的学术对象“楚文化”之间似乎有着某种天生的联系。那天,先生与我从楚文化谈到巴蜀文化、吴越文化,谈到近代的武汉、南京和上海,也谈到长江文化,于是,在《东南文化》开办“长江文化研究”专栏的设想就在这次交谈中产生了。事后,刊物主
<正> 读孙昌武同志所著《柳宗元传论》,深感该书在前人研究成果的基础上,作了新的综合,用力辛勤,值得肯定。但该书有的见解似乎是对原文的理解出现了差错,因而作了一些文不对
运用免疫组织化学技术对51例纤维支气管镜咬检组织中的角蛋白及癌胚抗原进行检测,并设5例正常支气管粘膜肺组织对照。
本文力图从公司财务成本控制的角度简要阐述其常用的概念、方法和步骤,给企业的投资策划人员,在对设备采购等生产项目投资、子公司投资、分支机构设立的长期资金占用等决策提
《阶梯汉语·中级精读》是华语教学出版社于2004年出版的一套中级精读教程,由周小兵先生任总主编,教学对象为在全日制学校学习过一年汉语(约800学时)的外国留学生,目前对于这本教材的研究并不多。本篇论文参照国内的权威汉语教材编写大纲,对本套教材进行客观的考察与分析,总结出特点,同时也指出了本套教材存在的不足之处,并提出了建议。本文对《阶梯汉语·中级精读》教材的内容进行分析与研究,主要包括教材的词汇、
地主大地产农业是荆州农业生产的一个重要组成部分。魏晋南北朝时期,荆州政治局势的变动不仅左右着荆州大地产的兴起与发展变迁,而且决定了其集中分布区从南阳向襄阳再向江陵转
"访惠聚"活动是贯彻"四个全面"战略布局的重大举措,是稳疆安疆的战略部署,是推进党的建设新的伟大工程的重要探索。富蕴县开展"访惠聚"活动以来,各部门(单位)认真贯彻落实上