基于知识图谱的数据清洗技术研究与实现

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:wangyuange
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,数据成为企业的核心资产,分析和挖掘数据的潜在价值对企业业务发展和关键决策具有重要作用。数据集成是数据挖掘分析的基础,数据集成中,多源异构数据可能存在数据缺失、不一致等数据质量问题,而数据清洗是保证数据质量的重要手段之一。数据清洗技术需要依赖大量外部知识来指导清洗过程,但由于外部知识规模较小、构建低效等特点,限制了数据清洗效率。而知识图谱具有知识规模大、语义丰富等特点,因此,研究利用知识图谱进行数据清洗具有重要的理论意义和价值。针对数据集成中存在的数据缺失、数据错误问题,设计并实现了基于知识图谱的数据清洗系统KGDC。该系统分为模式匹配、模式修复和推理修复三个模块。从三个模块的关系来看,首先通过模式匹配获取到数据列的显式、隐式关系,然后根据模式匹配结果对数据表进行模式修复和推理修复,完成对数据表的整体清洗。研究内容如下:第一,研究了知识图谱在数据清洗中的应用技术。针对数据清洗依赖外部知识的特性,建立起知识图谱和待清洗数据的关系模式,为数据表进行错误修复奠定基础。第二,针对多个数据表之间存在关联关系的数据清洗场景,提出了基于整体数据表的数据清洗方法。该方法利用数据表之间存在的外键约束,建立表间显式关系和隐式关系,进行数据清洗。该方法相对单表清洗效率更高。第三,基于知识推理,提出了一种多表推理修复的方法。针对显式修复出现空候选集或多值候选集而无法对数据进行直接修复的情形,通过显式关系转化或候选值归属确认,进行数据清洗,进一步提升了多表清洗效率。最后,对提出的数据清洗方法进行了测试,测试分为单表修复测试、多表修复测试、多表推理修复测试。测试结果表明,多表修复相对单表修复,数据表间关联关系越多,清洗效率提升幅度越大。多表推理修复相对多表修复,知识图谱中关联知识越多,清洗效率的提升越明显。
其他文献
随着医学诊疗技术的发展以及胚胎发育理论体系的完善,体外受精-胚胎移植技术在经历了四代的更迭后已然成为不孕不育等相关疾病的首选治疗方案。其中,胚胎植入前的形态学诊断是成功移植的关键,原核期胚胎特征作为诊断的首要依据更是有着严格的定义。本文通过计算机视觉技术实现胚胎特征识别算法,相较于传统识别方案,算法能够自动且有效地分割胚胎主体区域并在原核期胚胎首要特征识别中获得接近医师的精度水平。最终给用户提供一
近年来,随着计算机视觉领域技术的不断突破与创新,在图像信息利用越来越多元化的背景下,视频预测成为当下深度学习研究的一个热点方向。视频预测技术以给出的图像信息为基础,通过构建一个可以精准建模视频内容和动态变化的内部表征模型预测未来视频帧,并应用于机器人、自动驾驶汽车和无人机提前决策等多个场景。针对于当前大多数视频预测技术对于时间信息提取的不足,导致连续帧出现的动作伪影以及动作模糊的难点,本文基于现实
近来年,随着人工智能技术的落地应用,人们的学习和生活方式发生了极大的变化。在教育行业,自然语言理解、知识图谱和知识推理等技术更是对其产生了深远的影响,基于知识图谱的推理自然受到了越来越多的关注和研究。然而在推理过程中,需要考虑不同的策略。本文正是基于上述背景,研究和实现了图推理中的组合分支技术,并将其应用到了初等数学求解中,主要包括如下内容:1、研究和实现了组合分支技术中的分层策略。本文最终划分了
面对信息爆炸的时代,用于信息搜索的智能问答技术发展迅速。用户通过问答系统,从海量信息中检索出准确信息。传统问答算法利用浅层语义,获得简单问题的答案,但无法获得更深的语义层次,难以给出更加准确的信息。以知识图谱为基础的问答系统,结合知识图谱中的语义信息和知识结构,能够检索出更加准确的答案。但是,目前的研究多是在一个理想的状态下进行研究的,即用户所输入的问题,能够在知识图谱中通过推理全部得到答案。在实
随着人工智能的飞速发展,为专注于对计算机推理能力的挖掘,微软推出数学图表类数据集Figure QA,旨在用简单的图形图表组合让计算机完成数学推理任务。而对于计算机而言,要完成对图像信息的整合并结合文字信息进行推理,首先需要完成的就是对图片信息的提取,也就是对图片进行目标检测。因此本文的主要研究内容为图像问答过程中所涉及到的的目标检测过程。对于数学图表类图像而言,与主流目标检测模型中通常采用的真实场
得益于分布式、安全和可追溯的特点,区块链技术自诞生以来就被广泛应用于各类应用场景。但是,与已建立的解决方案(例如分布式数据库系统)相比,区块链系统的吞吐率仍不理想,已经成为阻碍区块链发展的重要挑战之一。作为一种有准入机制的区块链,联盟链相比于公链增加了可监管特性,在交易处理和交易确认延迟方面相较于公链有着显著提升。但当前联盟链使用的共识算法只支持单节点串行出块,如联盟链代表Hyperledger
随着社会进入信息时代,网络上巨大的信息量使得如今用户想要快速检索有效信息变得十分困难。自动文本摘要技术的出现解决了上述问题,但是传统的自动文本摘要技术受限于各种条件,导致难以生成准确率高、语句通顺并且简洁的好摘要。本文以上述问题为着手点,主要研究如何提升中文自动文本摘要的质量,具体研究内容如下:1.提出了基于语义理解的生成式文本摘要模型。传统中文文本摘要模型难以利用原始文本实体间的关联,导致生成的
科技的高速变革不仅使大众的生活更加便利,而且也使人们的业余生活更加丰富多彩。现在人们获取影视节目的主要方式已经从电机频道转变成了互联网平台,人们的选择越来越多,用来观看节目的时间也更加灵活化,大家正在享受信息发展带来的便利。信息技术的发展也带来了信息过载的问题,人们面对互联网上海量的影视节目,往往无法很快选择出自己喜欢的内容。个性化推荐系统就是在这种背景下出现的,它的出现在一定程度上解决信息过载问
随着嵌入式领域的不断发展以及处理器体系架构的持续优化,多核处理器因其高性能、低功耗和低成本等优势得到了广泛的应用。同时,在万物互联的时代,嵌入式设备面临着越来越多的风险和挑战,这不仅需要增强设备的可靠度和安全性,还需要具备高扩展能力。而微内核架构因其本身的架构特点,具备代码量小、可扩展性高、安全可靠等优势,十分适合应用在嵌入式设备中。因此,本文基于团队自研的mginkgo微内核,设计并实现一个面向
近年来,随着深度神经网络的快速发展,基于循环神经网络的模型在机器翻译领域取得了非常显著的成果。因为对话的生成也可以看成是从输入到回复的一种翻译,所以将其应用到对话系统上也是一种非常有前景的方式。并且随着互联网的发展,网络上开始涌现出大量开源的对话数据集,这也使得以数据驱动和端到端的方式训练生成式对话系统成为可能。本文主要研究的是开放域生成式对话系统。不同于特定域的对话系统,其主要目的是和用户闲聊,