表格智能问答算法研究与系统实现

来源 :中南财经政法大学 | 被引量 : 0次 | 上传用户:heyouzhang033
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网技术的发展与普及,网络上的信息爆炸式地增长。与日俱增的信息在丰富了网络上信息量的同时,也加大了人们从互联网获取目标信息的难度。智能问答系统作为一种新型的信息服务方式,能够理解自然语言问题并回答,可以更方便、直接地帮用户获取信息。表格具有数据量丰富和结构明确的特点,在网络技术发展的过程中成为了主流的数据载体。为了方便用户从表格中获取信息,表格智能问答——即以表格作为智能问答的答案来源,成为了自然语言处理领域的热门研究方向之一。将表格存储在关系型数据库中是一种低成本、易维护的存储方式,且其他形式的表格如excel也易于转化为关系型数据库中的表格,故对表格智能问答的研究一般基于关系型数据库展开。关系型数据库中的表格可以通过SQL(Structured Query Language)语句高效查询,因此本文研究的针对单表的智能问答可以转化为语义解析任务,即NL2SQL(Natural Language to SQL)任务,将生成的SQL语句的执行结果封装后即得到问题的答案。故表格智能问答算法研究可转化为对NL2SQL算法模型的研究。本文主要工作包括:1.参考SQLNet通过SQL标签映射到SQL语句的方法,定义了一系列标签分别用以预测SQL结构的局部,局部结果拼接即可得到完整的SQL语句。其中,本文特别提出了一个用以表示表格中某一字段在WHERE条件中出现次数的标签,以字段为单位细化了计算WHERE条件数量的粒度,解决了传统模型难以解决的条件字段复用问题。本文使用两个子模型来预测定义的标签,分别是多任务学习模型和条件补齐模型。2.多任务学习模型结合SQL语句的语法规则对标签的预测结果进行修正,即根据WHERE条件的数量对条件间的逻辑连接符进行修正。3.设置BERT输入处理方式、预训练模型选择以及超参数选择实验对多任务学习模型和条件补齐模型进行调整,对于条件补齐模型额外设置了不同候选条件生成方法的实验。最后将本文的NL2SQL模型与其他NL2SQL模型对比,证明本文的NL2SQL模型提升了SQL生成的准确率。4.设计并实现了上市公司违规问答系统。为了使人们能够更方便直接地了解上市公司违规的相关情况,本文基于NL2SQL模型设计并实现了上市公司违规问答系统。其中,为了使模型能够更适应上市公司违规领域的相关问题,采用人工标注和EDA数据增强相结合的方法构建违规领域问答数据,并且在新的数据集上对模型进行更新。
其他文献
据国家统计信息中心统计,2021年1月至10期间,全国总诊疗人次达到54.4亿人次,同比增长23.4%,医疗服务体量巨大。然而,我国人口基数大,人均医疗资源相对较少,且部分地区医疗资源仍存在短缺情况。在保证完成大体量医疗服务的同时,借助用药辅助系统提高医疗服务质量与服务效率是缓解医疗资源短缺的有效方法之一。用药辅助系统可以为医生用药提供辅助决策信息,在医疗资源短缺、医疗服务需求量大的情况下,不仅可
学位
我国拥有十几亿人口,土地面积居世界第三,人口密度较高。特别是一线城市,存在着诸多公共场合,如机场、火车站、影剧院、球场等,不仅人口聚积密度高,而且形成了人流极大的场景。在这类场景下,由于人们素质参差不齐、心中目的目标各异,各种摩擦、冲突时有发生,既增加了突发事件出现的概率,给公共管理带来了巨大挑战,也极大地提高了管理的难度和成本。针对对突发公共安全事件频发态势,国家出台了相对严柯的管控措施,但收效
学位
股价预测在金融市场研究中有着非常重要的意义,想要准确预测股价的变化是非常困难的。随着经济和科技的发展,金融市场也变得更为复杂,每天生产着数以亿计的交易信息,由此而产生了大量的低价值数据,由于这些数据具有高噪声、非线性、波动性强等特点,所以这些数据已不适合通过传统计量模型来处理。根据行为金融学理论,股票的内在价值只是决定股票价格的因素之一,投资者的行为也深刻影响着股票价格。投资者在投资决策中容易受到
学位
数据规模在持续爆炸式不断扩大。IDC(International Data Corporation)对全球数据规模进行的预测显示,截止到2025年,全球数据量可达175ZB。社会各界、各方团体对于数据的使用和认知不断加深,人们愈发重视数据本身的经济学特征。中国是数据大国,随着数据要素化政策的出台,各地数据交易机构建立并试运行,国内数据市场初具规模,其健康发展需要坚实的理论研究作为支撑。但是数据资产
学位
在信息过载的当前互联网环境下,用户获取有价值信息的信息成本越来越高,为了解决这一问题,推荐系统(Recommendation System,RS)应运而生。推荐系统从用户项目交互信息或静态特征中推断用户偏好,并进一步推荐用户可能感兴趣的项目,以帮助用户做出更有效的决策,有很大的应用价值。而在某些场景中,用户信息是匿名的,推荐系统只能根据用户点击行为序列来学习用户的兴趣表示,该类情况被归为推荐系统的
学位
在大数据环境下,每个行业都高度重视从海量用户数据中挖掘其背后的隐藏信息和价值,然而这些信息存在数据本身的隐蔽性,另外业务人员无法给数据人员清晰地表达自己的意图,导致难以从结构化数据中最大限度的获取到用户的喜好特征。因此直接通过自然语言在数据库查询数据,搭建数据库的自然语言交互平台也受到越来越多企业和研究学者的关注。NL2SQL是自然语言查询数据背后的核心技术,而NL2SQL中自然语言和SQL语言本
学位
随着我国经济社会的不断发展,工业化水平和人民的生活质量不断提高,与此同时工业化给生态环境带来了较大的负面影响。十九大报告指出,当前我国社会的主要矛盾是人民日益增长的美好生活需要与不平衡不充分的发展之间的矛盾。生态文明建设的速度与居民对美好、健康生活的需求增长不相匹配。近年来雾霾天气在我国一些城市中时有发生,随着《大气污染防治行动计划》等治理措施的提出,空气质量有所改善,但是要全面解决空气污染问题,
学位
随着医学的发展,疾病领域越来越细分,医生临床实践的差异化也越来越明显,由于医生临床实践过程中的医疗数据结构和表达的不统一,致使医疗机构、科室之间的信息交换、共享、整合和利用无法达成,影响了精准的疾病防治。因此术语标准化应运而生,不仅解决了信息表达的不一致性问题,而且实现了语义层面上的信息共享。然而,临床医学术语数量巨大以及表达方式多种多样,并且传统的基于人工规则的匹配方式成本高、效率低,亟需一种智
学位
近年投资基金逐渐成为大众化话题,搜集查询基金信息的需求不断增加。人们可通过搜索引擎或基金网站了解基金信息,但有时需要对相关基金信息进行比较,对感兴趣的基金进一步了解其相关信息,比如要了解某基金的基金经理还管理了哪些基金。此类需求涉及问答系统中的多跳问答问题,在知识图谱中表现为问题主实体到答案实体经过的关系路径不止一条。基于知识图谱的问答在处理单跳问题方面已能达到较高精度,目前难点和研究方向集中在复
学位
随着网络的高速发展,用户在网络上的足迹记录越来越多。为了提高用户的体验,满足用户的个性化需求,个性化推荐系统被提出来。传统的推荐系统都是在单域中进行推荐,会面临冷启动与数据稀疏的问题。跨域推荐的提出,实现了可借助其他域中的数据为用户进行推荐,解决了单域推荐系统中存在的冷启动与数据稀疏问题。但随着用户在网络上的交互越来越频繁,越来越广泛,用户在不同域之间的兴趣会产生影响,这时候,跨域推荐不仅仅是作为
学位