论文部分内容阅读
随着GIS应用的不断发展,GIS数据出现了激增的趋势,现有使用文件系统、数据库的数据管理方法遇到了处理和存储能力的瓶颈。使用集群系统管理和处理GIS数据将成为高性能GIS应用的主要实现方式。本文分析了当前集群数据管理的相关研究,介绍了集群数据统一管理和集群数据协作管理两种方式的发展历程,提出了集群中热点数据缓存管理系统iCached,设计并实现了基于内存的共享数据管理机制,以解决传统文件系统、数据库管理集群数据时共享能力差、性能不佳等问题。
iSocket、iSlab和iBalance是iCached系统的三个核心组件。通过使用分层设计的方法,iCached解除了通信、内存管理和可用性管理在功能上的耦合,实现了模块化的系统结构,并为其他应用和后续工作提供了可复用的代码及系统。InfiniBand是一种新型网络体系结构,提供了高带宽、低延迟、RDMA操作和原子操作等特性。iCached中设计并实现了iSocket应用层通信协议库,提供了一种使用InfiniBand网络的简单易用的方式。iSocket在接口、工作方式上和传统的TCP/IP套接字相似,而又可以提供InfiniBand网络的各种特性。iCached使用iSlab内存管理机制实现了高效的动态内存分配和管理,大大提升了内存管理的性能。iCached使用iBalance实现了可配置和高效的动态负载均衡机制,为iCached系统提供了充分的可用性保证。
iCached提供了高效的混合异构网络集群中热点共享数据的缓存系统,通过元数据和数据管理的分离实现了良好的扩展性。iCached为应用提供了一组数据操作原语,在操作原语内部实现了多应用协作模式下共享数据的一致性,使用iCached的各种GIS应用无需考虑复杂的数据一致性问题。iCached为GIS应用提供了便捷、高性能、扩展性好、可用性高的集群GIS数据管理机制。
实验表明,iCached提供了高效的数据管理机制,无论是数据访问的延迟还是带宽指标较之传统的文件系统都取得了重大的提升。作为iCached系统核心组件的iSocket、iSlab和iBalance也都实现了设计的目标,其可复用的代码为后续的工作提供了可借鉴的系统实现。
本文研究了面向GIS应用的基于异构网络集群的共享数据缓存管理系统iCached,提出了GIS应用中热点数据管理的新方法,提供了集群中共享数据管理的新机制,为今后GIS应用在集群中的部署和研究提供了原型系统。