规则引擎驱动下的国土空间大数据清洗方法研究

来源 :云南师范大学 | 被引量 : 0次 | 上传用户:xinxinzhang2
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息化的不断发展为国土部门积累了大体量的、具有丰富价值的空间数据。近年来,推动国土大数据建设,实现国土与测绘、地质环境等部门的资源数据共享一直是国家政策热点和国土部门的工作重心。实现数据规范统一是数据共享的前提,而国土数据种类多、结构复杂、标准不一、多源多时相的数据特征给共享及统一应用造成了巨大阻碍。数据质量研究领域中的数据清洗技术能够解决这一问题。而传统数据清洗方法一方面大多采用硬编码方式设计,灵活的低;另一方面大多基于单机计算架构,难以支撑大体量数据的清洗需求。数据清洗中应用最广泛的Drools规则引擎存在计算效率低下和规则与后台编码耦合度太高的问题,并且缺乏借助大数据技术手段对数据空间几何部分进行清洗的清洗方法。本文分析了国土空间大数据现状特征及国土大数据应用对于数据清洗的需求,提出了一种规则引擎驱动下的国土空间大数据清洗方法。方法基于ArcSDE数据结构及SDELOB压缩方式的分析结果,编码实现了一种利用MapReduce并行大数据计算框架的国土空间大数据集成转换算法,实现关系型空间数据库中数据向国土空间大数据池的高效集成转换。基于集成转换后的数据,通过定义国土空间大数据清洗规则编码形式来保证清洗过程定义同软件编码的松耦合性。构建包含规则定义、规则编排、规则校核、规则解析与规则执行等模块的规则引擎来实现清洗规则的动态扩展、灵活配置组合,保证规则的高复用性,借助MapReduce计算框架实现国土空间大数据清洗的高性能和高精度,解决国土空间大数据清洗问题。经过实验测试,验证了该方法应用到国土真实数据环境下的可行性,且算法在保证数据精度的基础上大幅度提高了空间数据集成转换、清洗的效率。
其他文献
建立了一种高效、简单、易操作的实验方法,采用直接进样液相色谱质谱法同时测定水中呋喃丹、灭草松和莠去津,优化了测定条件,该法比现有标准检验法有了很大改进。实验结果表
为了得到某型两级轴流压气机的特性曲线,采用在子午平面上叶片排间隙中设置计算站的流线曲率法对其内流场进行了数值模拟,得到子午平面上速度分布;建立了一种设计、非设计损
<正>【新华社北京三月二十一日讯】为了广开才路,早出人才,快出人才,教育部最近给各地发出通知,决定放宽报考研究生的年龄限制,凡是一九三八年三月一日以后出生的都可以报名
目的观察单核细胞趋化蛋白-1(MCP-1)和高敏C反应蛋白(hsCRP)在2型糖尿病肾病(DN)患者中的变化,并探讨其临床意义。方法将纳入研究的63例2型DN患者按24小时尿蛋白定量分为尿蛋白定量
风劲角弓鸣,将军猎渭城。草枯鹰眼疾,雪尽马蹄轻。忽过新丰市,还归细柳营。回看射雕处,千里暮云平。王维《观猎》是唐诗名篇,论者多从五律写作角度鉴赏其艺术手法,如清代沈德潜《唐
本文对国内有关紫草制剂的研究概况进行了综述 ,为研究和开发紫草制剂提供依据
目的:研究骨髓间充质干细胞(mesenchymal stem cells, MSC)对A498肾癌裸鼠移植瘤的影响。方法:培养肾癌A498细胞和人MSC,用CM-Dil标记MSC并对标记后MSC细胞的活性和增殖能力进
<正>元明清七百多年间,是山西戏台得以成熟、发展与繁盛的时期,也奠定了山西成为中国戏曲文化遗产最为丰富的省份之一。山西戏台由于年代久远、历经风雨和战乱所造成的损毁,
目的:探讨miR-124(Homo sapiens miR-124)抑制人结肠癌SW620细胞生长与侵袭的分子机制。方法:1.转染miR-124mimicss于人结肠癌SW620细胞,转染后上调miR-124表达的SW620细胞作为实