论文部分内容阅读
随着并行计算技术、网络技术和空间信息技术的发展,SOA思想和网格计算理论越来越多地被引入实现空间信息聚合、共享、集成、管理、协同计算模式,基于空间信息服务与网格GIS建设新模式下的空间信息应用平台已成为一种发展趋势。
地质调查行业与国民经济发展密切相关,其信息化建设水平与国家的协同稳定可持续发展紧密相连。几十年的信息化为地质行业积累了大量的地质空间信息资源,分布式多源异构海量地质空间信息资源分散地存储在全国各大区、省地调院、地调中心,对其进行分布式存储集中管理,实现在网格计算环境下的地质调查信息资源整合与共享,面向公众提供全方位的地质调查空间信息集成、共享与计算服务,具有重要的理论和实践意义。针对海量异构分布式地质调查空间信息的组织、管理与计算应用,需要解决以下5个方面的问题:
(1)如何把分散分布式数据资源、系统用户和存储资源连成一个有机逻辑的整体,使用一个全新的数据存储、提取和传输手段,为管理和分析海量异构多源的空间数据建立分布式网格基础设施。
(2)如何动态地利用各种空间资源(空间网格服务、空间数据、计算资源和存储资源等)构建面向服务的分布式空间信息应用的方法论和技术体系。
(3)如何将GIS的处理功能进行拆分,对空间信息服务进行网格化封装使其成为网格服务,并控制服务粒度;可以按照需要动态地组合多个空间服务为完成高级事务的空间网格服务,而且用户可以将所需的空间网格服务和空间数据动态地集成为松散耦合式的应用系统,不同的应用系统之间可以通过空间网格服务实现功能互操作,也可以灵活地与其他信息系统有机地集成。
(4)如何建立分布式异构的GIS系统,对用户提出的请求进行自动任务分解,并路由到特定的网格结点,再把执行结果传输到特定的GIS软件,提供一致的用户界面,实现空间数据的透明访问与处理。
(5)如何解决空间信息常涉及的海量空间数据、属性数据、元数据的存储管理与空间处理等计算密集型和和数据密集型GIS应用。
为解决上述问题,本文基于网格GIS技术和空间信息服务技术,研究并建立中国地质调查信息网格平台(CGSI-Grid),汇集和共享地理上分布的海量空间信息资源,对其进行一体化组织与协同处理,从而形成具有按需服务能力的空间信息基础设施,在此基础上,通过使用网格中间件平台,屏蔽底层硬件和软件信息,给用户提供完全透明的计算或服务环境。
基于上述研究目的,中国地质调查信息网格平台采用以服务为中心,方便、灵活、广泛地应用开放网格服务结构(OGSA),构建了网格计算基础设施,建立网格资源全局目录形成了分布式资源聚合模型;提出了对等式网格资源管理机制,基于分布式Portal架构对网格结点资源和网格空间信息服务进行动态管理,同时建立对等式全局资源目录同步机制保证不同虚拟结点域间资源目录共享与协作管理;针对计算密集型GIS应用—全国铁矿资源潜力评价,建立分布式协同计算机制,完成并行任务的分解、分发、结果回收、任务过程监控以及资源协同调度等。围绕中国地质调查信息网格平台建设中的关键技术,本文的主要工作包括:
(1) CGSI-Grid基础框架
在对等式网络结构中构建CGSI-Grid基础框架并建立逻辑对等、功能独立的虚拟结点域;研究适用于对等式CGSI-Grid的网络基础设施,基于OGSA和五层沙漏结构建立CGSI-Grid系统架构。
(2)分布式地质空间信息资源聚合
研究了中国地质调查网格平台体系下的资源聚合模型,实现对分布式资源的统一组织和描述,包括三个方面的内容:基于地质领域本体的资源组织、基于元数据的资源描述模型和全局资源目录模型。
在分布式资源聚合模型中,采用地质领域本体理论建立资源概念词库,对多源异构空间数据资源和功能服务资源进行分类组织,并制定资源唯一标识符,从资源分类的层面保证各网格结点资源的语义一致性,形成资源编码体系使得概念和语义信息可以被形式化地表达。分布式资源均以元数据进行描述,形成资源描述模型,采用地质空间信息元数据标准对CGSI-Grid中的空间数据进行描述,元数据各子集语义遵循地质领域本体中的规定;采用SAWSDL对功能服务进行描述,在原有WSDL的基础上扩展了RDF、OWL的语义注释信息,元数据资源描述模型采用XML和XML Schema技术实现。资源描述体以统一的方式聚合在全局资源目录模型中,形成基于ebRIM全局资源目录注册模型,基于OGC的CSW(Catalogue Service of Web)规定建立全局资源目录服务,向应用领域提供统一的资源访问和管理接口。
(3)对等式网格结点资源管理
对等式网格结点资源管理研究采用全新的架构、方法和技术来管理与整合分散的网格资源(包括网格结点和网格服务),为每个虚拟结点域(一个地区作为一个虚拟结点域)构建自治结点Portal,将结点Portal划分为超级节点与普通工作节点的双层分布式P2P架构,并给出了搭建自治结点Portal环境的方法与步骤,建立了结点资源动态加入/退出机制流程。
在CGSI-Grid中,空间信息服务是一种非常重要的资源,为达到最大接口重用性,建立了元服务、基础服务、组合服务三层网格空间信息服务体系,建立基于W3C Web服务协议框架和服务代理类的服务组合模式和基于虚拟结点域的全局服务资源目录;为了更好地实现空间信息服务,解决空间信息资源访问量增大带来的网络瓶颈、实现资源的快速响应,建立了智能服务引擎。智能服务引擎,通过提供统一的服务调用模型,建立服务连接池,并采用服务缓存机制,大大地提高了空间信息服务的响应能力。
建立对等式全局资源目录同步机制,负责超级节点间全局资源目录的同步更新,当某个虚拟结点域中的全局资源目录发生了改变时,由结点间资源同步管理器协调网格内的其他超级节点做出相同的改变,以保证全局资源搜索的正确性、完整性和一致性。给出构建在分布式资源聚合模型和对等式网格资源管理基础之上的多结点资源发现整合与集成机制,对分布式结点Portal和“地质矿产一张图”空间信息集成效果进行了展示。
(4)分布式空间信息协同计算模型
以“全国铁矿资源潜力评价计算”业务需求为背景研究了分布式异构网格环境下的协同计算机制。在对等式网格环境下,根据地调网格结点分布情况,建立了依据结点计算池进行虚拟结点域划分的分布式协同计算架构,形成了铁矿资源潜力评价协同计算任务流程;以结点计算池为虚拟对等体,建立结点计算池协同计算模式;以Master-Worker编程模型为原型,提出兼顾空间数据物理隔离性的跨结点域跨防火墙的Master-Assistant-Worker并行编程模式。
对影响计算效率和性能的关键性因素进行了分析和探讨,建立任务分解策略、共享数据分配策略、空间计算结果动态回收策略、数据集成以及针对铁矿资源量估算业务的数据分级汇总策略,并采用缓存数据库对计算的中间结果进行保存以提高中间数据保证分布式协同计算高效执行,减少了结点间的通信量,避免了结点间由于频繁交换消息而引发的性能瓶颈。建立CGSI-Grid协同调度引擎,实施资源状态监控、WS-Resource访问控制,使得协同调度过程异步调用和WS-Resource生命周期管理,最终兼顾负载和服务质量形成计算时间与传输时间可重叠的的多轮调度策略,以期达到保障协同计算任务高效稳定正确地执行的效果。从计算资源状态维护、建立监护服务以及节点冗余度控制等方面,给出了单点失效、异常处理等问题的现场恢复和容错处理方案。
(5)计算密集型应用系统实现研究
结合中国地质调查计算密集型业务—全国铁矿资源潜力评价系统,研究网格资源发布、集合和协同计算流程.基于MapGIS网格中间件进行系统架构设计和网格任务流设计,建立全国铁矿资源潜力评价原型系统,实现跨平台的网格环境部署和网格计算任务流程控制与监控。
本课题在理论研究与实践相结合的基础上解决了空间信息集成系统中的一系列关键问题:分布式资源聚合问题、对等式网格结点资源管理问题、跨虚拟结点域的分布式协同计算问题等,构建了中国地质调查信息网格的基础框架,以全国铁矿资源潜力评价需求为导向建立了原型系统,较高程度地集成了分布式海量异构地质空间信息资源和功能服务资源,提供了一种高效的地质调查信息服务模式和计算模式。