不确定数据流的并行Skyline查询技术研究

来源 :国防科技大学 | 被引量 : 0次 | 上传用户:dragoncon
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
不确定数据流作为一种特殊的数据流类型,广泛存在于环境监测、基于位置的服务、金融股市交易以及Web信息系统等众多实际应用中,对不确定数据流进行高效查询分析已成为当前大数据研究的一个重要研究领域。不确定数据流的Skyline查询作为不确定数据流分析的一个重要方面,在金融领域、互联网领域以及无线传感器网络等众多实际应用中发挥着重大作用,目前已成为大数据领域的一个研究热点。当前不确定数据流Skyline查询存在的主要挑战在于:一方面,由于现实应用中的不确定流数据往往源源不断高速到达,导致传统集中式查询处理方法难以满足高速增长的查询计算需求,迫切需要研究并行查询处理方法;另一方面,随着用户查询需求的多样性变化,使得传统Skyline查询定义在实用性方面存在不足,迫切需要研究新型查询定义下的查询处理方法。以上研究挑战表明,不确定数据流的并行Skyline查询技术研究具有极其重要的现实意义,且已成为当前Skyline查询分析技术研究的必然趋势。当前高性能计算以及云计算等计算环境的发展和普遍运用,为实现不确定数据流的并行Skyline查询处理提供了强有力的并行处理能力,而n-of-N Skyline查询和k-支配Skyline查询等新型Skyline查询定义,能够有效地解决查询实用性不足的问题。因此,本文围绕上述两个方面的研究挑战,分别针对不确定数据流的并行n-of-N Skyline查询技术和不确定数据流的并行k-支配Skyline查询技术开展研究工作。针对已有查询方法因难以同时支持多个不同尺寸窗口查询而导致实用性不足且查询效率不高的问题,提出了一种基于区间树刺探的并行n-of-N Skyline查询方法PnNS。在PnNS方法中,首先利用一种滑动窗口划分策略将全局滑动窗口划分为多个局部窗口,从而将不确定数据流的集中式查询处理过程并行化。其次,通过一种查询区间编码策略将不确定数据流的n-of-N Skyline查询转化为刺探查询,从而提高查询的效率。同时,为进一步优化查询处理的过程,一方面通过一种流数据映射策略将最新到达的流数据元组映射至相应的局部窗口,以最大程度实现各计算节点上的负载均衡;一方面基于空间索引结构R树组织不确定流数据,以减少流数据之间支配关系的测试开销。实验结果表明,和已有方法相比,PnNS方法在保证查询结果正确性的基础上,有效地提高了查询处理的灵活性和效率。针对已有查询方法因查询结果集合过大而导致实用性不足且查询效率不高的问题,提出了一种基于支配能力索引的并行k-支配Skyline查询方法PKDS。在PKDS方法中,首先定义了不确定数据流的k-支配Skyline查询问题。其次,基于窗口划分的流数据映射策略,将最新到达的流数据元组映射至计算节点,有效地实现了不确定数据流的k-支配Skyline查询的并行化。特别地,采用基于流数据元组k-支配能力的索引结构对流数据元组进行高效组织管理,极大地提高了滑动窗口中流数据元组之间的k-支配关系测试效率。实验结果表明,PKDS方法能够将高维数据的Skyline查询结果缩小至具有更好决策支持的范围,并且在保证查询结果正确性的基础上,极大地提高了查询处理效率。
其他文献
随着我国城镇化和经济的不断推进和发展,大量的农村人口逐渐走向城市从而成为城市经济发展中不可或缺的一部分劳动力大军。人口城镇化作为新型城镇化重要的一部分,近年来新疆
在我国经济社会高速发展背景下,城市工程项目数量也在不断增多,特别是道路桥梁工程。其作为基础性建设项目,与人们日常生活与交通安全息息相关。沉降段路基路面问题在路桥施
金属有机框架材料(Metal-Organic Frameworks,MOFs)是由金属中心和有机配体采用配位方式杂化的功能材料。在电化学方面,MOFs凭借其优异的比表面积、独特的孔穴结构,成为了具
目标跟踪是计算机视觉领域研究热点,也是自动驾驶、视频监控、人机交互等视觉应用中的重要组成部分。由于目标跟踪任务本身的复杂性,同时跟踪过程中,面临目标自身变化和环境
半封闭深腔构件是具有一个或多个开口的半封闭曲面深腔壳体构件,在航空航天、石油化工和储运工具等领域中具有十分广泛的应用。这类构件具有壁薄、深腔、负角曲面和精度要求
现如今货运重载仍是铁路运输的主导方向,货运列车作为铁路运输的主要工具,其制动系统性能对重载运输的发展而言是一个十分严峻的考验。传统的制动系统的试验必须通过线路试验
睡眠是人体必不可少的一项生理活动。研究发现,良好的睡眠是健康的重要保证。失眠会产生不同程度的疾病。睡眠情况的研究基础是睡眠分期。传统上,睡眠分期工作由专家手动进行
在轨服务技术可以在空间中对卫星加注燃料、维修、载荷更换等操作,有效的延长了卫星使用寿命。在轨捕获是在轨服务的前提,空间末端执行器可以代替人力执行多种太空操作,在降
轮胎在不同的激励下表现的力学特性完全不同,因此不同的轮胎模型适用于不同的工况。适用于分析轮胎低频力学特性的轮胎模型经过国内外学者的不断研究已经趋近于完善,但是用于
各种网络应用的出现给人们的生活带来了极大的便利,与此同时,用户的隐私问题也受到了越来越多的关注。网络数据通常采取图来表示,如社交网络图、商业贸易网络图等。这些图可