Spark平台上的数据时效性管理的关键技术研究

来源 :哈尔滨工业大学 | 被引量 : 0次 | 上传用户:guxleo3322
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当前人类社会正处于大数据时代,数据的数量正以前所未有的速度急剧增长,然而数据的质量也同样在快速下降,数据质量(数据可用性)问题已经成为数据管理领域不可忽视的热点问题。作为数据可用性问题5个维度的一员,数据时效性问题已经成为不可忽视的关键问题。由于现实生活中的事物会随着时间的流逝而产生变化,因此作为现实事物客观反映的数据在数据库中会过时失效。在实际应用场景中,往往缺少完整可靠的时间戳,当前数据时效性领域的研究主要包括时效性判定和时效性修复两个重要的问题。本文根据已有的相关研究成果,改进并提出了一系列大数据时效性管理的关键技术。在时效性判定问题上,目前已有的时效性判定算法根据实体属性上的时效规则以及实体的冗余记录构造时效图,并基于时效图判定数据的时效性。本文针对时效图构造算法时间复杂度过高,在海量数据的应用场景中表现不佳的问题,基于时效规则提出了状态图的概念,状态图相比时效图具有更好的空间复杂度,非常适合在分布式场景中传输,用状态图替代时效图的构造算法可以大大优化时效性判定算法在分布式场景中的执行效率。另外,本文还针对用户对数据库不同维度的查询请求,给出了不同维度的时效性度量方法。在时效性修复问题上,本文深入研究了一种特殊的数据时效性关联错误。给出了实体冗余记录是否具有数据时效性关联错误的判定原理,并给出整个数据库是否有数据时效性关联错误的判定算法。然而仅仅判定数据库是否有数据时效性关联错误是不够的,为了数据时效性判定算法的正确计算,还需要对实体的冗余记录进行时效性关联错误修复。本文将给出一种时效性关联错误的检测方法,并基于检测方法给出一种高效的时效性关联错误修复算法。
其他文献
高动态范围(High Dynamic Range,HDR)是一种提高显示信号质量的技术。它与原有的标准动态范围(Standard Dynamic Range,SDR)形成对比,改变了视频和图像的亮度和颜色在信号中的表示方式,并允许更明亮的高光、更暗的阴影、更精细的细节以及更广泛更强烈的色彩表现。新兴的现代显示器能够呈现具有高动态范围和广色域(Wide Color Gamut,WCG)的超高清媒体内
学位
低真空管道磁悬浮运输系统是填补现有地面运输工具与民航客机之间运输速度空缺的重要方式,已经成为轨道交通行业研究的热点。结合低真空超高速磁悬浮系统管道环境需求,研究提出了沿管道布置真空泵组并配置监测、控制系统的低真空环境实现与维持技术方案,要求满足紧急情况乘客安全疏散的管道最低气压值不得低于50.7 kPa,推荐采用开启复压用挡板阀的方式实现快速破空。针对低真空环境对流换热效率低、超长距离管道检漏定位
期刊
随着互联网的蓬勃发展,人们接触到的数据类型变得越来越多种多样,不仅有常见的纯文字数据,还有许多结构化的、半结构化的数据被收集保留了下来。这些新兴的结构化数据如商品库、社交网络、知识图谱等都可以用图结构来表示。因此,对图结构数据进行研究能够帮助我们更好地理解与运用图结构数据中包含的大量知识。本文主要研究课题为面向图结构数据的文本生成研究。分别从三个方面进行了研究,提出了融合图背景知识的文本生成模型、
学位
在社会信息化需求日益增长的同时,我们面临着持续增长的大规模的数据。海量的数据中蕴含的潜力为人类社会创造了巨大的价值,促进了社会的发展,虽然大数据技术在各个领域趋于成熟,但在异常检测领域仍有很大的发展空间,尤其是在多维时间序列的异常检测领域。多维时间序列具有数据量大,数据维度高且存在着异常点成因复杂,有时可能蕴含着生产或制造领域固有的知识,特别是体现在工业或制造业大数据中。现有的针对于离线的多维时间
学位
多次波是地球物理勘探领域长期存在的问题,它的存在给地震处理和解释工作带来了严重的困难。目前大多数行业内使用的地震成像算法都假设数据只包含一次反射波,当将多次反射波视为一次反射波时,会造成地下构造成像错误。由多次反射能量解释的构造可能会被误认为是有效的储层,如果被钻探就会造成巨大的损失。此外,对于解释而言,不仅需要构造信息,还需要振幅相关信息。因此,在地震数据处理过程中必须对多次波进行高精度有效压制
学位
随着国内油田逐渐进入高含水发展后期,中子寿命测井作为重要的套管井核测井技术,在开发测井领域发挥重要作用,已成为判断油藏残余油气饱和度分布变化规律、掌握注水和产液剖面、调整注采方法、增加采收率等的主要测量手段之一,其数据处理方法仍有较大提升空间,本文建立了一种中子寿命测井数据处理新方法。本文采用数值模拟方法研究了中子寿命测井模式下粒子场的时间特性;引入多尺度量子谐振子算法与改进的Levenberg-
学位
龙虎泡油田龙12区块位于松辽盆地中央凹陷区齐家-古龙凹陷西部斜坡区,近年来的勘探开发表明,葡萄花油层具有较大的增储潜力,但该区块位于环凹断裂带之上,地质背景复杂,且存在广泛的低阻油层和高阻水层,导致葡萄花油层成藏条件和油水分布规律模糊不清,严重制约了油田增储增产的步伐。本文以石油地质学理论为指导,综合应用录井、测井以及钻井、分析化验等资料,开展烃源岩、储集层、盖层、圈闭及运移条件等成藏条件的系统研
学位
<正> 一、发热的概念:发热是指病理性体温升高,是机体对有害物的一种防御性反应,表现为各系统的机能和物质代谢增强,体温升高。临床未明原因的发热,虽经各种诊断性检查,尚不能确诊,姑称“发热待查”。持续发热超出38℃3周以上,按常规检查与住院观察并作试验治疗1周,仍诊断不明者称为“持续发热待查”。此外“低热待查”的病例亦屡见不鲜。二、对发热需要注意的问题:
期刊
期刊
报纸