云计算中面向非结构化数据的辅助索引机制的设计与实现

来源 :北京大学 | 被引量 : 0次 | 上传用户:huangli_java
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
众所周知,地理问题分析与求解是一个非常复杂的过程。而将分析出的地理模型实现成可运行的程序更是一项庞大的工程,需要消耗很多的人力和财力。当前现状是,大量实用地理模型己被实现,这些地理模型分布在广大地理科学家手中,而每个地理科学家手中都只有少量的地理模型。如何共享、复用这些已有的地理模型,是一项迫在眉睫的工作。基于此,我们提出了在分布式网络环境下实现地理模型封装、共享、复用的构想。本文在此构想基础上,设计并实现了一个分布式地理模型运行环境执行引擎。  本文的分布式地理模型运行环境执行引擎是基于WebService设计实现的。基于WebService的分布式地理模型执行引擎依赖于模型契约、模型管理环境、执行节点、控制节点、数据中心五部分。  1.模型契约  模型契约是用来描述地理模型之间的数据交互信息及各个地理模型执行顺序的XML文档。模型契约用XML文档表示,是一种独立于操作系统和编程语言的表示形式。模型契约需要描述的内容有模型的输入输出及调用顺序。模型的输入有两种,一种是参数类型,另一种是数据文件。模型的调用顺序有顺序、并行、条件、循环、同步。  2.模型管理环境  模型管理环境管理地理模型的描述信息。模型描述信息由静态信息和运行信息两部分组成,静态信息有模型的作者、完成时间、版本信息、模型的功能等,运行信息包括模型的部署节点、调用接口、模型的输入输出、运行条件等。模型管理环境有模型运行信息访问接口,可以通过模型ID获取对应的模型运行信息。  3.执行节点  执行节点是地理模型的部署节点。为了方便地理模型的共享和复用,我们要对地理科学家提供的地理模型进行拆分和重新封装,最终以WebService的形式发布到各个执行节点。为了为模型选择提供条件,我们需要将执行节点的性能信息实时发送到模型管理环境中。  4.主控节点  主控节点主要是解析模型契约,然后根据模型契约描述,调用分布在各个执行节点上的地理模型。控制节点要负责执行节点之间的数据交互,监控地理模型的运行状态;控制节点还要与用户进行交互,将地理模型的运行状态及计算结果反馈给用户。  5.数据中心  数据中心是地理模型获取处理数据源的数据仓库。地理模型运行之前要先到数据中心下载数据文件,地理模型计算完成之后,要将数据文件传到数据中心。  执行引擎的工作流程如下:用户提交模型契约后,执行引擎首先要校验该模型契约是否遵循模型契约规范;通过校验后,执行引擎将模型契约转化成内存契约结构,转化过程中需要根据模型契约描述从模型管理环境提取模型描述信息;接下来,根据模型契约描述的执行顺序关系调用部署在不同执行节点上的地理模型,地理模型执行时,需要先从数据中心下载待处理数据,完成计算后将最终的结果文件上传至数据中心,地理模型执行过程中,通过消息机制向执行引擎发送反馈信息和数据请求信息。  本文最后通过四个实验,验证了所设计的执行引擎可以有效的工作。
其他文献
观点检索任务需要为每个用户查询返回一个文档列表,要求列表中的每篇文档表达了对当前查询主题的某种观点,并依据它们对查询主题的情感程度进行排序。目前,在微博数据(比如推
学位
随着人口信息系统应用范围的不断扩大,数据将急剧增长,简单的设施的扩容虽然能在一定时期满足人口信息系统的需求但不是长久之计。云计算的便利、经济、高可扩展性等优势吸引
Sybil账号是由恶意攻击者创建的,用来不公平的获取大量互联网资源与能力的虚假账号。长久以来,人们注意到sybil账号出现在各种互联网社区中,例如文件共享系统。但由于缺乏进
网页作为人类知识的一个重要载体,像照片一样记录了人类的历史,是人类的一份珍贵史料。同时,网页如同书籍、报纸一样,其生存周期是有限的。因此,就有许多有机构致力于有效的
非功能需求建模在软件工程领域越来越受到重视,存在着多种分析和建模方法,其中NFR Framework是一种发展迅速和应用广泛的框架。该框架的思想是用软目标来表示非功能需求,将顶层
手指静脉识别技术是近十年来新兴的生物特征识别技术。她具有防伪性好、识别率高等优点,因而具有广阔的市场前景。六年来作者所在的研究小组自主研发了手指静脉的采集设备,并
随着近年来智能移动设备的快速普及和移动互联网的高速发展,电子文档被越来越多的使用和传播。而在电子文档中,需要使用一种良好的数据格式来用于保存和传输数据。XML由于良
近十年以来,互联网的发展速度超乎人们的想象,网络中的内容不断呈爆炸趋势增长。如今人们使用互联网时更在意网络中的内容,但是网络的通信模型却是基于位置的,仍然沿用上个世
内容中心网络(Content-centric networking,CCN)是由美国帕罗阿图研究中心提出并致力于发展的下一代基于内容的互联网的基础协议及底层架构。随着近十几年来互联网上用户和内