【摘 要】
:
当人类回答问题时,他们会利用关于空间关系、因果关系、科学事实和社会习俗等的常识知识。这些知识对人类来说微不足道,但仍然超出了当前问答系统的能力范围。与给定上下文篇章的问答任务不同,常识问答任务通常只有单独的问题而没有任何上下文语境,这就需要模型检索到与问题相关的常识知识并利用知识进行逻辑推理才能给出答案。因此如何检索到合适的常识知识以及将这些知识融入模型进行推理以解决常识问答任务成为了最近的研究热
【基金项目】
:
国家科技部重点研发计划(2019YFF0303003)“冬奥多语种语言服务关键支撑技术及设备—课题3:面向冬奥场景的多语种智能问答关键技术研究”;
论文部分内容阅读
当人类回答问题时,他们会利用关于空间关系、因果关系、科学事实和社会习俗等的常识知识。这些知识对人类来说微不足道,但仍然超出了当前问答系统的能力范围。与给定上下文篇章的问答任务不同,常识问答任务通常只有单独的问题而没有任何上下文语境,这就需要模型检索到与问题相关的常识知识并利用知识进行逻辑推理才能给出答案。因此如何检索到合适的常识知识以及将这些知识融入模型进行推理以解决常识问答任务成为了最近的研究热点。本文通过调研现有融合外部知识模型的优缺点,从融合结构化知识、融合文本知识和融合预训练语言模型中的隐式知识三个方面来解决常识问答任务。(1)融合结构化知识的常识问答技术研究。现有的方法使用预训练语言模型和图神经网络分别对问句上下文和知识图谱中的子图进行建模。然而这两种模式之间有限的交互可能会影响模型正确理解问句与知识之间的关系。本文提出了一种在语言模型和图神经网络之间进行细粒度信息融合和多层联合推理的模型,它不仅能对知识子图中的噪声节点进行动态剪枝,而且弥合了两种信息模态之间的差距。实验结果证明了我们的方法优于当前融合结构化知识的方法。(2)融合文本知识的常识问答技术研究。虽然常识知识图谱可以显式给出实体之间的结构性关联信息,但是我们必须要为知识图谱设计额外的结构对它进行建模,而且知识图谱的三元组形式缺乏丰富的上下文描述信息,语言模型可能很难理解实体的确切含义。因此,本文提出了一个融合多源文本知识的常识问答模型。在该模型中,通过知识到文本的转化算法,将结构化的图谱知识转化为文本,并利用词典释义为图谱实体提供上下文信息。实验证明这两种知识的引入都提高了模型在常识问答任务上的表现。(3)融合预训练语言模型中隐式知识的常识问答技术研究。先前的方法通过检索外部知识库来获取相关知识,然后在特定任务上以监督方式微调预训练语言模型。但是许多任务缺乏具有足够覆盖范围的适当知识库,而且监督微调的模型很难快速迁移到新的任务上。因此,本文提出了一种基于多阶段提示的无监督常识问答框架,使用预训练语言模型作为常识知识的来源,仅使用单个语言模型即可生成需要的常识知识以及问题对应的答案。该框架不依赖于特定的模型和任务,灵活且易于迁移到其他常识推理任务。
其他文献
随着移动终端的持续普及和网络技术的不断发展,短视频受到越来越多的民众的青睐,而“用短视频来学习”激发了用户对知识类短视频内容的关注度及需求。然而目前知识类短视频在平台中的组织形式比较单一,影响用户体验。而通过知识图谱的形式将其结构化组织起来已成为可能,这不仅为用户提供更好的知识获取体验,同时激发创作者创造优质知识内容,构建良性的知识分享生态。本文的主要研究内容是面向知识类短视频的多模态知识图谱的构
近年来,随着各种产业的发展,我们能够获得地带有时间戳的数据越来越多,人们也越来越重视这些数据中的时序特征带来的产业价值。对时序特征的研究能够从历史数据中挖掘出规律,进而用于对时间序列的分析和建模。对时间序列的研究中,异常检测是其中重要的一个分支。对时间序列进行异常检测能够对实时产生的数据进行监控,降低数据管理成本。同时也可以作为数据预处理的一环,提高机器学习模型所使用数据的质量。现在的工业时间序列
<正>党的二十大从战略和全局高度,对全面推进乡村振兴作出了重要部署,提出“巩固拓展脱贫攻坚成果,增强脱贫地区和脱贫群众内生发展动力”和“统筹乡村基础设施和公共服务布局,建设宜居宜业和美乡村”的重大任务,为当前和今后一个时期做好巩固拓展脱贫攻坚成果同乡村振兴有效衔接工作确立了目标、明确了任务、指明了方向。我们要深入学习贯彻党的二十大精神,深刻领悟“两个确立”的决定性意义,增强“四个意识”、坚定“四个
<正>中共中央总书记习近平在中共二十大报告中指出:“从现在起,中国共产党的中心任务就是团结带领全国各族人民全面建成社会主义现代化强国、实现第二个百年奋斗目标,以中国式现代化全面推进中华民族伟大复兴。”乡村振兴是实现中国式现代化的基础和重要内容。乡村振兴主要内容可以用六个字概括:产业、建设、治理。
写作是作者根据自身积累、思考感悟运用语言文字来表达自身思想感情的过程,是一种极具创造性的脑力劳动。智能写作是指使用人工智能技术为作者提供辅助,从而降低写作门槛,提升作者的写作效率与创作体验,在更短时间内创作更多优秀的文艺作品,最终实现生产力的提高。本文针对嵌套命名实体识别、文本重排序和数字生成这三个智能写作所需的支撑性技术进行了研究。(1)嵌套命名实体识别。嵌套命名实体往往具有丰富的文本内涵,在文
随着社交媒体平台的广泛应用,人们利用社交媒体发布针对舆情事件的相关评论,这些数据代表了民众的所思所想,能够真实快速的反映社会舆论情况,对网络舆情的认知和管控提供重要支持。近年来,自然语言处理相关技术不断进步,文本情感分析任务得到充分关注和发展,为基于社交媒体数据的舆情分析提供了强有力的技术支撑。针对各类舆情事件,利用社交媒体平台的数据,并通过自然语言处理技术进行舆情的分析与预测,具备重大的理论和现
随着深度学习的快速发展,图像生成领域取得了许多令人印象深刻的进展,这使得从标签,文本描述或者语义布局生成具有真实感的图像成为可能。本文所要研究的是从语义分割图生成与之语义对齐的具有真实感的图像,它在内容创作和编辑等方向有着广泛的应用前景。早期的工作直接将语义图作为生成器的编码器端的输入,这种网络设计对于语义信息的利用效率是次优的,空域自适应特征变换的提出缓解了这一问题。它以语义图作为条件输入,预测
在社会生产生活中,往往需要布置大量传感器去采集时序数据,但是由于采集错误、传感器自身功率变化、网络传输异常或人为干预等原因,时序数据中难免会出现一些异常。然而,现有的多维时间序列异常检测算法没有对异常数据的类型进行区分,用户往往会将检测出的异常数据全部清洗掉,导致清洗后的数据丢失大量具有意义的事件和特征。本文将异常数据分为噪声和异常事件两类,分别针对多维时序数据上的异常事件检测问题和噪声修复问题展
随着数字经济发展步伐加快,网络安全、数据安全问题变得更加重要,随时可能影响智慧城市发展,甚至危害社会安全和国家安全。QKD基于量子力学基本特性,能够提供无条件的安全性保证,与经典数据传输网络融合,解决量子保密通信和经典通信协同应用问题。研究了QKD应用的基础原理、关键技术和网络架构,探讨融合方法和创新应用方案,实现智慧城市更安全可靠的数据加密传输。