基于NoSQL的时空数据模型构建和存储方案研究

来源 :重庆大学 | 被引量 : 0次 | 上传用户:abcchencj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着人类社会不断信息化、数字化和智能化,时空数据在国民经济与日常生活中发挥着日益重要的作用,不断被应用于各个领域,如事件预测、环境监测、城市演化、交通管理、地震救援、全球或区域气候、物流配送、实时GIS、面向大数据的时空数据挖掘与分析等。时空数据系统是一种对数据进行采集、储存、分析处理和可视化的信息系统,既是对现实世界的模拟和进行空间数据分析处理的手段,也是一门对时空数据信息处理分析的科学技术。怎样在大数据环境下解决时空数据的存储和分析计算是业界的研究热点。时空数据库作为时空数据系统的核心,是时空数据系统进行存储和计算的基础,由于传统时空数据模型基于关系型数据库构建和存储,所以必须将问题领域模型转换成关系结构,转换代价较高,存储时将空间信息和时间信息割裂开来,同时关系型数据库受范式限制难于扩展、灵活性差、对于较为复杂的查询涉及大量连接操作,导致效率急剧下降。因此需要寻找能够对时空数据统一建模和存储的解决方案。No SQL是大数据环境下发展起来的非关系型、可水平扩展的、分布式的数据库,能够处理半结构化、结构化的数据,支持高并发的读写,存储模型包含键值、列族、文档、图等。No SQL摆脱了关系型数据库范式限制和ACID约束,没有固定表结构和低效的连接操作,基于CAP理论、BASE并发事务模型和最终一致性,因此具有更好的伸缩性和灵活性。No SQL为海量数据的存储和云计算环境下的数据分析与计算提供了坚实的基础,能够有效存储格式多样、数据量大、关系复杂的时空数据。本文首先对主流的时空数据模型和存储方案进行了系统的分析,介绍了国内外研究现状;然后详细介绍了时空数据特点和代表性数据模型,阐述了No SQL数据库的理论、数据模型以及相对于关系型数据库的优势;提出了基于No SQL的时空数据模型和存储的总体架构,分析了Hadoop结合Mongo DB的时空数据模型构建与存储,针对栅格数据与矢量数据特征结合Mongo DB基于文档存储模型,设计了相应的数据转换模块和栅格数据、矢量数据存储模型,结合Hadoop对大数据的处理能力,介绍了基于Mongo DB存储和Hadoop分析、计算的典型应用;利用Neo4j对具有复杂关系的时空数据进行建模和存储,提出了基于图数据库的时空数据时间表达和空间表达方法,应用实例说明了该模型的可行性,并且介绍了Neo4j Spatial库在时空数据处理方面的高效性和Neo4j集群架构;最后,基于曙光的XDATA-HADOOP平台搭建了Mongo DB与Neo4j,对论文提出的架构搭建了原型系统,在原型系统上进行了测试,测试结果分析表明了论文提出的基于No SQL的时空数据模型和架构的可行性与有效性。
其他文献
从总体上看,我国目前住房保障工作还处于探索阶段,存在不少矛盾和问题。从物业管理角度,个别地区存在着分到房却“用不起”的问题。通读《江苏省物业管理条例》(以下简称新《
闽清某羊场发生一例临床表现为体温升高、咳嗽、气喘、呼吸不畅、精神倦怠、被毛粗乱、食欲减弱等症状的传染病,根据发病情况、临床特征、病理变化,结合当地流行病学及实验室
6月17日,学校召开毕业生就业工作推进会。校长安江英、党委副书记魏晓东、副校长刘兰明、纪委副书记张春勇、招生就业处领导及工作人员,各二级学院领导班子、毕业班班主任,共
化学农药在农业中有着广泛的应用,在带来经济效益的同时,也带来巨大的危害.与化学农药相比,微生物农药具有较强的选择性,能较大程度地保持生态平衡,对人体和环境安全性较好.
职工心理健康问题是近来人们议论较多的一个话题。一些职工患有心理疾病,严重的甚至走向极端,严重影响到个人家庭的幸福,也给企业带来种种损失。从关心职工的角度,各级党组织应当
【正】 在中华大地改革开放、农牧振兴、农史学术研究走向深入的欢欣年代,我们迎来了著名农史学家、畜牧学家、农业教育家张仲葛(1913年— )教授的八秩华诞。仲葛先生多年从
1997年,山东大学毕业的王宏杰被分配到山东省建设厅房产处,分管物业管理,从此开始了与物业管理的不解之缘。2000年,年轻的王宏杰白手起家,成立了山东省诚信行物业管理有限公
【正】 我认识张仲葛教授已经43年了,他为人朴实,勤于笔耕并热心助人,给我留下了极为深刻的印象。他不仅是一位著名的养猪专家,同时也是一位畜牧史学家。他于1913年生于广东
随着我国经济体制改革的不断深化,现代企业制度的建立,以及社会变革对企业的影响加深,企业员工的思想动态、思想倾向呈现出多样化的特点,这就对企业党建思想政治工作带来了新
党的十九大报告在阐述习近平新时代中国特色社会主义思想时强调,要坚持新发展理念,"主动参与和推动经济全球化进程,发展更高层次的开放型经济"。践行开放发展理念须从提高开