基于抽样的函数依赖发现

来源 :南京财经大学 | 被引量 : 1次 | 上传用户:caery
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在关系数据库中,函数依赖发现是一种十分重要的数据库分析技术,在知识发现、数据库语义分析,数据质量评估和数据库设计有广泛的应用。在传统的集中式数据集,函数依赖发现的研究已经十分透彻。然而随着时代的发展,大数据时代的到来,数据信息的总量呈几何倍数增长,数据库的规模也随之飞速增长,以往集中式数据集由于物理设备限制等各种原因,在某些场合已经不再能满足场景需求。在这样的背景下,分布式数据库随之产生,它相比集中式数据库具有更易维护、更易扩展、容错更高的特性。但是同时分布式数据库也带了数据处理与管理更具复杂度的问题,适用于集中式数据库的知识发现也不适用于分布式数据库。而现有的对分布式数据集的函数依赖发现算法虽然能正确的在分布式数据集上进行函数依赖发现,但是主要的验证方法仍然是迁移数据之后集中发现,效率较低。因此本文的主要研究内容为分布式数据集上的并行函数依赖发现。本文从如下几个角度入手来实现高效的函数依赖发现:(1)用抽样验证的方法,对候选的函数依赖先在主节点上的抽样数据集上进行先验验证,如果该候选函数依赖在抽样数据集上即不成立,则根据定理它在分布式数据全集上也必定不成立无需验证,从而节省下原本将该函数依赖进行全局验证所需的通信、任务分配等开销,从而提升效率。(2)用原用于频繁模式挖掘的Fk-1×Fk-1算法来生成候选函数依赖,这种方法相比前缀树记录生成方法要占用更少的存储空间,从而节省下申请和释放存储空间的时间,同时也能避免存储空间不足的情况。(3)在高效的分布式分布式计算框架Spark上,设计与框架相适合的分布式函数发现算法,使其能够在分布式数据集的各个节点上,并行的进行函数依赖发现,高效利用计算资源,从而提升效率。最后,通过实验验证了本文所提框架具有良好的可行性和有效性。实验结果表明该框架能够高效的在分布式情况下进行函数依赖发现。
其他文献
气体钻水平井将气体钻井保护储层与水平井扩大渗流面积的优点相结合,是解决低压、低渗、低丰度致密气藏高效开发的重要技术手段。但是,伴随气体钻水平井的一个难题是水平井段
市场上大约60-70%药物的靶点位于细胞膜上,并且药物与细胞膜的相互作用能够直接影响机体对药物的吸收、分布与排泄等功能。因此,充分了解药物对脂质膜的内在影响对相关疾病的诊断和病理研究具有至关重要的意义。本文利用荧光倒置显微镜研究了局部麻醉药物盐酸丁卡因(Tetracaine,TTC)与二元及三元支撑脂质双分子层(SLBs)的相互作用,并对支撑脂质双分子层中脂筏的形成条件进行了探索。研究结果表明,T
经济环境的不断发展给企业经营带来了新的机遇和挑战,企业的组织形式及合作模式也随环境的不确定性不断改变。战略联盟作为一种新的经营资源的整合载体越来越受到市场中企业的关注。通过什么样的选择方式建立联盟关系决定了合作伙伴间知识搜索的效果,继而影响战略联盟创新绩效。因此,系统研究联盟企业伙伴选择、知识搜索、创新绩效三者之间关系对促进联盟企业自身实现企业发展战略,推动联盟共同绩效具有重要意义。本文首先通过大
川中地区中二叠统茅口组发育了一套优质白云岩储层,但分布极不稳定,似乎与岩溶作用有关,该白云岩储层形成的主控因素究竟是白云石化作用还是岩溶作用,且它们之间的关系尚不清
板料冲压是汽车制造过程中的重要生产方法,冲压件成形质量的优劣对汽车的生产成本和生产效率都会产生很大的影响。金属薄板的各向异性与拉-压强度差效应(SD效应)在板料成形过程中决定着成形件的精度与质量。因此,如何准确描述板料成形过程中的塑性本构关系以及力学性能,对塑性成形理论的发展具有重要推动作用,对实际生产将具有重要的工程应用价值。本文以汽车轻量化中金属薄板的成形过程为背景,以金属塑性成形原理为基础,
琼胶酶是一种能够降解琼脂以形成琼脂糖寡糖的糖苷水解酶,根据琼胶酶水解糖苷键的不同,可以分为α-琼胶酶(EC 3.2.1.158)与β-琼胶酶(EC 3.2.1.81)两类。目前,野生菌株生产琼胶酶存在诸多问题,缺点包括产酶量低、易污染、生长慢等,不利于大规模工业化生产。基于以上问题,本课题将一段弧菌琼胶酶蛋白基因重组于表达载体pET30a(+)上,然后转入宿主大肠杆菌BL21体内,通过宿主大肠杆菌
随着互联网和人工智能技术的发展,目前市面上出现了智能音响、语音助手等产品。而机器如果能做到语音情感识别,就可以提供更友好的用户体验。除此以外,语音情感识别在抑郁患者治疗、线上远程教育等方面有着广阔的应用前景。随着深度学习在语音情感识别领域中得到广泛应用,语音情感识别准确率也得到了有效的提高,然而目前语音情感识别仍然有许多的研究难点。情感信息不均衡的分布在语音信号上,在这种情况下如何提取更为有效的特
硅质岩形成于特定的地质地球化学环境,其内部古生物组合以及岩石地球化学特征对探讨岩石成因、沉积时代、地质背景和区域地质构造演化历史具有十分重要的研究价值。甘孜—理
随着我国社会经济的高速发展和用电需求的提升,对电力系统的要求越来越高,为更好的服务社会,增强服务竞争力,电力企业对小型基建工程的建设需求越来越大,与此同时,小型基建在
本论文使用简单易行的热蒸发法、利用自行组装的实验装置,较系统地研究了金属氧化物In2O3、SnO2、Bi2O3纳米线及掺锡氧化铟纳米线的制备过程,研究了加热温度与加热时间对制备