弱可用数据近似聚集查询处理问题研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:qian7122011
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的迅速发展,数据规模逐渐扩大,劣质数据也随之而来,极大地降低了数据的可用性。当一个数据集合中的错误不能彻底修复时,我们称其为弱可用数据。弱可用数据上近似计算(如查询、分析、挖掘等)的理论和算法成为重要的研究问题。弱可用数据上的近似计算不同于传统意义下的近似计算,它是在具有一致性错误、完整性错误、精确性错误、时效性错误或实体同一性错误的数据上近似地求解满足给定精度要求的问题的解。目前,面向弱可用数据的查询处理主要有两种解决方法:一是对弱可用数据进行数据修复,在修复后的数据集上执行查询。二是直接在弱可用数据上计算满足所有可能修复的查询结果。在第一种方法中,由于修复具有多种可能,没有任何一种修复算法能够保证修复后的查询结果的准确性;第二种方法可能造成大量的弱可用数据丢失,严重降低了查询结果的质量。为了有效地解决上述问题,本文围绕完整性、一致性、实体同一性这三个方面,对弱可用数据聚集查询处理展开研究,本文的研究内容可以概括如下:首先,本文研究了可填充的不完整弱可用数据聚集查询处理问题。不完整数据又称为缺失数据,现有的缺失值填充算法不能保证填充后查询结果的准确度。本文给出一种面向不完整数据聚集查询结果的区间估计方法。假设聚集查询语句中聚集属性的值域范围已知,并且缺失值是可填充的,本文直接在缺失的数据集上给出聚集查询结果的区间估计。通过估计不完整数据库所有可能世界的查询结果的上界ub和下界lb,保证真实的查询结果一定在[lb,ub]区间范围内。本文提出的算法可以适用于任何缺失机制中,不对数据分布做任何假设,可以在线性时间内给出SUM、COUNT和AVG查询结果的区间估计。其次,本文研究了不可填充的不完整弱可用数据聚集查询处理问题。假设聚集查询语句中聚集属性的值域范围未知,并且缺失值包括可填充的和不可填充的两种类型,本文给出聚集查询结果的区间估计。本文在符号语义中扩展传统关系数据库模型,提出了一种通用不完整数据库模型,该模型可以处理可填充的和不可填充的两种类型的缺失值。在该模型下,本文提出一种新的不完整数据聚集查询结果语义:可靠结果。可靠结果是真实查询结果的区间估计,本文给出线性时间求解SUM、COUNT和AVG查询可靠结果的方法。再次,本文研究了实体冲突弱可用数据聚集查询处理问题。识别数据集中有差异的重复数据的过程称为实体识别。现有实体识别算法计算复杂性较大,并且具有修复准确度不高的问题。为此,本文设计并实现了实体冲突数据上聚集查询处理系统CrowdOLA。CrowdOLA不修复冲突的实体,而是直接在有实体冲突的数据集上给出聚集查询结果的估计。CrowdOLA的核心思想是在原始数据集上采样,利用基于众包的实体识别方法识别冲突实体,根据样本上的聚集结果对总体查询结果无偏估计,从而在保证置信度的前提下提高了查询效率。最后,本文研究了不一致弱可用数据聚集查询处理问题。目前,解决该问题常用的方法是一致性查询方法,该方法返回满足所有可能修复的查询结果。然而,一致性查询方法可能造成大量有用信息的丢失,并且计算一致性查询的复杂度非常高。为此,本文提出一种基于不确定图求确定性概率最大的修复方案及查询结果的方法。可以保证得到的修复方案的修复代价最小,修复的确定性概率最高,进而保证在该修复方案下的查询结果的准确率最高。
其他文献
【摘要】本文在圆柱坐标系下通过MAXWELL方程,将三维问题转换为一维问题,产生相应控制方程。利用时域特征线算法(characteristic-based time domain method)计算了探针馈电重叠圆柱共形微带天线的输入阻抗和辐射方向图。本文特点是数值计算误差小,与传统算法相比,缩短了计算时间。计算结果与FDTD算法结果吻合良好,证明了本文理论与数值模型的可行性和精确性。  【关键词
近日,陕西省纪委副书记马奔率省纪委信访室、案件管理室、一室等3部门领导对省审计厅廉政风险防控管理制度推行进展情况,党风廉政建设责任制工作报告制度落实覆盖情况,领导干
20世纪90年代以来的中国当代戏剧,由此前的表现崇高转向到展示平凡,这实际上是一条后现代文化语境中的文艺的生存之道和精神状态。当一个时代的精神生活缩减到零度以下的刻度时
一中国现代小诗自上个世纪20年代产生以来,历经冰心时期(1920年代)、田间时期(1930年代)、新时期(1980~1990年代).在这期间,小诗在其滥殇期--冰心时期曾经红红火火,轰轰烈烈,
我国已步入老龄化社会,妥善解决老年人问题,提高老年人生活质量,解决老龄化社会所带来的各种问题是我国构建和谐社会的一件大事。作为传播科学文化知识的公共图书馆在新形势下如
【正】当代散文近几年来忽地走俏,变热,小说家、诗人纷纷加盟散文创作,散文集、散文丛书竞相出版,散文热成为九十年代惹人注目的文坛景观之一。 散文走俏,令关注散文命运的人
<正>~~
期刊
【正】《秦始皇》(贵州人民出版社出版)是吴亲群先生的第一部长篇小说,也是他的最后一部小说,是他晚年倾其心力而写的一部煌煌50万字的力作.他的宏大志愿是写秦皇、汉武、唐宗
以膨润土为主要原料,丙烯酸单体为改性剂,采用水溶液聚合法制备丙烯酸聚合物/膨润土复合防水材料(BPN),采用FT-IR、XRD、SEM对所制备样品的结构进行了分析表征。结果表明:膨