基于图划分的海量时空数据分布式均衡存储管理

来源 :武汉大学 | 被引量 : 0次 | 上传用户:ruyang0828
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网和云计算技术的高速发展,GIS已步入大数据时代。智能手机、车载传感器等数据采集设备产生了海量时空数据,这类数据具有数据量大、多源异构、时空分布不均等特点。目前,已有多种方案基于分布式No SQL数据库来管理海量时空数据,然而大多数管理方案没有考虑数据分布对查询效率的影响,对时空数据存储负载均衡支持不足。同时很多学者针对分布式环境下数据的划分和存储均衡进行了深入研究,但时空数据具有其独特性,在进行数据划分时需要保持空间邻近性,在负载均衡时需要考虑到各时段内的数据在节点间的数据量均衡。否则在进行时空查询和分析时,会频繁进行分布式计算节点的交互而大大降低效率。因此,如何对时空分布不均的海量时空数据进行数据划分和存储负载均衡是一个亟需解决的问题。针对上述问题,本文首先提出了顾及时空分布的自适应数据划分方法,在空间上,通过抽样实验来确定针对特定应用场景的网格分裂阈值,设计一种基于空间分布的层级计算模型来确定划分起始层级,从而实现网格的并行分裂和合并,以提高空间自适应划分的效率;在时间上,根据数据的时间潮汐规律来划分时间分段,构建时空分层索引结构。接着,本文研究并提出基于图划分的存储负载均衡方法,在数据分组阶段,通过定义初始分布实现将多个时段的数据用统一的空间分布来表达,将自适应划分结果映射成加权无向图结构后,采用开源Metis图划分算法实现数据均衡分组;在分组调优阶段,设计迭代微调法平衡各时段的数据存储负载,同时有效维护了划分结果的空间邻近性。最后,基于本文提出的索引架构和负载均衡方法,采用HBase数据库设计了相应的存储方案和查询算法,利用协处理器机制和辅助索引表来加速查询处理。以纽约出租车数据为实验对象,本文进行了一系列对比实验。实验结果表明:在数据划分方面,利用抽样实验得到的网格点数阈值具有可靠性,能有效平衡负载均衡效果和查询效率;本文提出的分布式并行划分方法效率高于自顶向下或自底向上划分,索引构建效率提高了20%以上。在存储负载均衡方面,基于图划分的数据分组方法虽然不均衡度略低于基于Z-Order曲线的方法,但维持空间邻近性的能力更强;采用迭代微调法能在不破坏空间邻近性的前提下,将数据集的平均不均衡度降低30%左右,从而实现各时段数据的存储均衡。在查询效率方面,利用辅助索引表结合HBase协处理器机制的查询方法在各种查询场景下相对Geo Mesa的查询效率提升了2.5倍左右。
其他文献
三网融合以来,传统垄断行业广电网络公司面临巨大挑战,市场竞争对手越来越多,竞争压力越来越大,传统的管理模式及考核体系不完善等问题限制了企业发展,影响企业战略目标的实现。在现代企业管理制度中,结合公司的整体情况,创建一套科学可行的绩效管理体系,具有极其重要的作用和意义。在移动互联网快速发展的背景下,企业在绩效管理上也面临着更大的压力,因此需要对现有的绩效管理模式进行改进。为确保企业能够实现持续发展,
学位
<正>1月13日,2023年全国烟草工作电视电话会议在北京召开。会议的主要任务是,坚持以习近平新时代中国特色社会主义思想为指导,全面贯彻落实党的二十大精神及中央经济工作会议精神,传达学习贯彻国务院领导同志批示精神,总结2022年烟草工作,谋划以党的二十大精神为指引坚持高质量发展为主题加快行业现代化建设,部署今年重点任务。会议总结了行业高质量发展政策体系和“十四五”规划体系实施情况。会议明确了未来五
期刊
L波段差分干涉SAR卫星(陆探一号,LT-1)是我国第1组以干涉为核心任务的L频段全极化民用SAR卫星星座,LT-1由1型2星组成,利用差分形变测量技术完成指定区域的形变监测任务。本文综合研究了我国形变监测需求以及卫星观测能力,提出了基础形变产品的3个层次。第1层次为形变场产品,是使用同一地区两景检校的单视复数(single look complex, SLC)影像进行差分干涉生产的。第2层次为形
期刊
邮储银行巴州分行自成立以来就重视立足服务“三农”的市场定位,积极开展涉农小额贷款业务,为“三农”发展提供有效的资金支持。但随着小额贷款业务规模的持续扩大,巴州分行资产质量问题日渐突出,信贷风险逐渐暴露,不良金额和不良率也有所攀升,反映了巴州分行小额贷款业务风险管理还存在一定的不足之处,这一定程度上影响了巴州分行发展小额贷款业务的积极性。本文通过对小额信贷风险管理相关理论的运用,结合邮储银行巴州分行
学位
报纸
目的:探讨适合我国研究型临床药师培养发展的路径。方法:通过文献调研和实践经验总结,对“具备科研能力的临床药师”赋予新的名称和内涵,并提出其培养和职业发展的具体路径和方法。结果:根据发达国家“医师科学家”、“临床科学家”的内涵和发展现状,结合我国的具体国情,本团队创新性地提出“研究型临床药师”的概念,并从高等教育和继续教育两个层面对研究型临床药师的培养发展路径进行深入剖析,找到适合中国临床药师科研发
期刊
离心复合铸造高铬铸铁轧辊具有良好的耐磨性、抗氧化性及低的成本,是现代轧辊的重要产品之一。差温淬火是改善和提高高铬铸铁轧辊性能的关键工艺,差温淬火温度、保温时间和冷却方式对保证高铬铸铁轧辊工作层性能均匀性和减少高温度淬火对芯部性能有显著的影响。因此,开展离心复合铸造高铬铸铁轧辊差温淬火工艺对改善和提高轧辊性能具有重要的意义。本论文采用ANSYS数值模拟的方法,建立了离心复合高铬铸铁轧辊三维模型,模拟
学位
基于目前三级甲等医疗机构(简称三甲医院)中临床药学发展的问题,通过阅读、剖析相关文献报道,结合对国内外多家医疗机构临床药学参访、学习、交流的经验,以及自身十余年专职临床药师的工作经验,从人员配备及能力培养、临床药师工作职责定位、学科建设及考核机制三方面分析我国发达地区三甲医院中临床药师发展中面临的问题及困境,并提出相应解决措施,为医院临床药学的发展提供借鉴。
期刊
钛合金具有比强度高,常温不易氧化,耐腐蚀和耐高温等特点,被广泛应用于生物医学,航空航天,海洋船舶,军工武器,金属防腐等众多领域,具有非常好的应用前景。而钛基大块非晶合金具有更优秀的特点,被广泛研究和关注。目前钛基非晶合金临界尺寸大于5mm的成分中,都含有Pd或Be等成本较高或有剧毒的元素,因而开发出无毒、价格低廉的钛基非晶合金具有很大的实际意义。本文选取了目前开发的所有大块钛基非晶合金中,成本较低
学位
T-Nb2O5和Ti Nb2O7作为铌基氧化物具有较高的嵌锂电位,可以防止锂枝晶的形成,因而具有更高的安全性,并且由于具有丰富的氧化还原反应对而具有较高的容量,是非常有潜力的电极材料。本文通过杂原子掺杂改性、与高导电材料MXene复合以及形貌控制等手段对两种材料进行修饰改性;运用XRD、SEM、TEM、XPS、Raman等现代分析手段对材料的物相组成、形貌和微观结构进行了分析和表征,所得结论如下:
学位