【摘 要】
：
近年来,以机器学习,深度学习等为代表的人工智能技术突飞猛进,这些技术在改变我们生活的同时也使得各种信息爆炸式的增长.如何才能够快速而准确的从大量信息中找到所需要的答案成为相关研究者广泛关注的问题,而开放域问答系统则在这样的背景下应运而生.现阶段的开放域问答技术基本都采用检索-阅读理解交互式框架,但基于这个架构的开放域问答系统仍然存在很多缺陷.例如对阅读理解模型而言,通常是通过预测文章中答案的起始与
论文部分内容阅读
近年来,以机器学习,深度学习等为代表的人工智能技术突飞猛进,这些技术在改变我们生活的同时也使得各种信息爆炸式的增长.如何才能够快速而准确的从大量信息中找到所需要的答案成为相关研究者广泛关注的问题,而开放域问答系统则在这样的背景下应运而生.现阶段的开放域问答技术基本都采用检索-阅读理解交互式框架,但基于这个架构的开放域问答系统仍然存在很多缺陷.例如对阅读理解模型而言,通常是通过预测文章中答案的起始与结束位置来提供答案,这使得模型提供的答案可能不简洁明了;对于检索模型而言,通常需要大量的监督数据进行训练,而在标记正负样本的过程中免不了引入噪音.本文将针对目前开放域问答技术所存在的问题对阅读理解模型和检索模型进行改进.在阅读理解模型方面,本文提出了基于多任务学习预训练模型的阅读理解算法.本文首先通过让预训练模型在不同且高度关联的多个任务上进行学习,使模型能够捕捉到多个任务之间共性的同时还能够更好地学到一些在单一任务中难以捕捉的特征;之后通过该预训练模型建立生成式阅读理解模型,使得模型不仅能够在较少的训练时间内取得更好的效果,还能使其生成的答案更加简洁明了.在检索模型方面,本文对基于阅读理解模型的cross-attention弱监督学习的轻量化检索模型进行了相关研究.本文首先利用阅读理解模型的cross-attention来训练检索模型,使得检索模型的训练不再需要标注好的查询语句和文本;然后在此检索模型的基础上建立了一个轻量化检索模型,在保证一定检索精度的基础上极大程度上的减小检索模型参数量及训练时间.
其他文献
在信息过载时代,推荐系统通过挖掘用户兴趣为用户过滤冗余信息,使得用户能在推荐结果中快速检索其意向商品。协同过滤是工业界中影响最深远的推荐算法之一,它通过用户、商品之间的相似关系进行推荐。如何在协同过滤思路上进一步提升推荐质量是推荐系统中的热门问题。近年来,图神经网络协同过滤方法快速发展,为推荐算法提供了一个新思路。这类算法将用户与商品之间的交互历史重构成图结构数据,再利用图卷积结构挖掘用户与商品之
在汽车电气化发展的趋势下,锂离子电池被广泛地用作新能源汽车的动力电源,但较高的能量密度可能会导致其火灾安全性较低。就目前的技术而言,锂离子电池仍然有无法避免的“热失控”风险,电池火灾安全问题已经在相当程度上制约了电动汽车的发展。电池包灭火系统的冷却性能是保障电池包火灾安全性的关键,但是在面临环境或电池本身的不确定性因素影响下,该性能的表现会发生变化,导致系统可能无法满足灭火冷却的需求。因此,确保灭
函数型数据分类研究是函数型数据分析中十分重要的研究方向,已被广泛应用于生命科学、医学与经济学等领域中.常见的函数型数据分类方法大多只给出一个分类结果,其不足之处在于无法量化结果的不确定性.一致性预测是量化预测不确定性的常用方法,其目的是通过预测区间（回归问题）或集合（分类问题）消除预测结果的不确定性.本文基于一致性预测方法,提出一种新的函数型数据分类算法.该算法能构造出满足给定覆盖率的预测集合,以
谐振式MEMS陀螺基于科里奥利效应实现惯性测量工作,但限于目前的生产加工水平,陀螺结构的精度较低,从而影响陀螺的测量精度,通过激光修调系统可改善陀螺的机械结构,其中模态频率作为激光修调系统中陀螺最重要的性能参数,需要更快的速度来实现检测,从而提高整个激光修调系统的工作效率。本文以提高谐振式MEMS陀螺的模态频率检测速度为目的,重点对模态频率快速检测系统进行研究,分别对陀螺的驱动控制、梳齿位移信号检
随着经济全球化和信息技术的高速发展,制造执行系统（manufacturing execution system,MES）已成为现代制造控制管理系统中不可或缺的环节。它将制造企业的计划层管理系统与车间现场设备有效联系起来,使车间所存在的信息孤岛得以消除,目前已在钢铁、汽车、通信设备等行业得到广泛使用。本论文以“某知名医疗器械生产企业”作为研究对象,该医疗设备企业产品具有多批次、多种类、小批量的特点,
湖泊是十分重要的自然资源,其对区域气候具有调节作用,能够反映区域环境的变化,并且具有维持区域生态系统平衡和繁衍生物多样性的特殊功能。湖泊对气候变化的响应较为敏感,研究其对气候变化的响应是一项重要的课题。本文以我国最大的内陆湖——青海湖为研究对象,利用历史湖泊表面水温以及相关气象变量对青海湖夏季湖泊表面水温进行预测研究。由于青海湖湖泊表面水温存在大量缺失值,本文首先采用了六种不同的缺失值填补方法生成
智慧教育需要在非接触条件下感知精神压力过大的学生,过大的精神压力对人体危害极大,需要及时干预。非接触式光电容积脉搏波描记法（Remote Photo-plethysmography,rPPG）是通过摄像机来获取心动周期造成的肉眼看不见的周期性细微皮肤颜色变化从而提取脉搏波的技术,具有无感、快速和成本低等优点,本文的研究目的是基于rPPG技术使用面部视频进行精神压力识别。首先,建立了rPPG样本集。
无人机具有拍摄范围广、灵活性强以及成本低等优点,在运动物体的检测与跟踪、特殊环境下的搜索和救援以及智能交通系统的构建等方面具有重要的意义。由于无人机拍摄视角和高度,以及目标存在尺寸较小、尺度多变等问题,导致通用场景下的检测算法效果差。因此,研究快速、准确的无人机图像目标检测方法是无人机视觉领域的重要课题。本文的具体研究内容如下:首先,综述目标检测的发展历程,包括以手工设计特征为代表的传统目标检测方
可视对讲系统的设计,作为通信领域的重点研究方向,在智能家居、实体防护、出入控制等领域得到广泛应用。本文结合实际技术发展新趋势,应用SIP协议和多媒体H.264协议设计实现一种新型可视化对讲系统,具体主要研究工作如下:本文首先深入分析了SIP实时传输协议、媒体流结构、H.264编解码标准,在此基础上讲述了系统的构建与实现。对开源协议栈Re SIProcate的实现机制进行剖析和Media Strea
近年来,基于单模聚合物光纤（polymer optical fiber,POF）的传感器制作与应用已成为学术界的研究热点。与传统的石英光纤（silica optical fiber,SOF）相比,POF具有很多优势,如硬度较小、柔韧性更好、热光系数更大、杨氏模量更小、具有固有的生物相容性等。由于单模POF与单模石英光纤之间没有商用连接器,我们引入了一种投影成像方法,将单模POF与单模SOF对准,然