论文部分内容阅读
大数据在广泛的领域形成并且快速的扩张,同时引入了大量劣质数据(错误的、不一致的数据)。因此数据质量在大数据时代日益显得重要,但是数据质量系统的定义和方法还不成熟,远远满足不了工业上的需要。海量信息的质量与数量融合的管理系统、海量信息的数据清洗与容错管理系统应运而生。本文针对数据清洗的热点领域进行了研究。并且改进了相关方法在实践中不足。本文主要关注的领域是冲突消解-数据清洗的一个子领域。冲突指不同的数据描述对同一客观实体的不一致表达。我们的方法具有高效性,广泛适用性。兼顾很多出现在现实中的复杂情形。本文的主要贡献主要分为三个方面:第一,增量式的真值发现策略;第二,并行化的真值发现策略;第三,一个冲突消解的完整的系统框架。简要的说明如下。首先,真值发现是冲突消解系统的一个关键组成。已有的真值发现在实际的应用中没有考虑增量的问题,当新来数据时若在所有的输入上重新运行算法而不是利用已有的计算结果会造成极大的时间浪费,本文在现有研究的基础上提出了增量式的真值发现和冲突消解策略,在增量冲突算法兼顾了概念偏移的处理使之能够应对不同的输入场景。其次,本文还在Hadoop上研究了并行化的冲突消解策略,在海量数据上,单机版的程序满足不了我们对时间的要求,只有在集群上,大型互联网公司才能够提供大数据上的互联网应用,但是并行化算法和传统算法在思维方式上的不同也将面临新的问题,我们将一一探讨并解决。最后,在劣质数据上,不同的数据源可能对同一实体具有不同的描述,当对他们进行数据集成时就需要冲突消解。冲突消解的最终目标是解决所有数据的冲突,提高数据本身的质量。冲突消解的核心策略是进行真值发现,当然,真值发现也可以成为独立的应用。本文提出了冲突消解的一系列定义,定义了各种冲突的类型及其处理策略,设计并实现了一个冲突消解系统的框架,实验证明具有很好的清洗效果。