面向GIS应用的异构网络缓存系统研究

来源 :中国科学院计算技术研究所 | 被引量 : 0次 | 上传用户:zhangfalun
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着GIS应用的不断发展,GIS数据出现了激增的趋势,现有使用文件系统、数据库的数据管理方法遇到了处理和存储能力的瓶颈。使用集群系统管理和处理GIS数据将成为高性能GIS应用的主要实现方式。本文分析了当前集群数据管理的相关研究,介绍了集群数据统一管理和集群数据协作管理两种方式的发展历程,提出了集群中热点数据缓存管理系统iCached,设计并实现了基于内存的共享数据管理机制,以解决传统文件系统、数据库管理集群数据时共享能力差、性能不佳等问题。   iSocket、iSlab和iBalance是iCached系统的三个核心组件。通过使用分层设计的方法,iCached解除了通信、内存管理和可用性管理在功能上的耦合,实现了模块化的系统结构,并为其他应用和后续工作提供了可复用的代码及系统。InfiniBand是一种新型网络体系结构,提供了高带宽、低延迟、RDMA操作和原子操作等特性。iCached中设计并实现了iSocket应用层通信协议库,提供了一种使用InfiniBand网络的简单易用的方式。iSocket在接口、工作方式上和传统的TCP/IP套接字相似,而又可以提供InfiniBand网络的各种特性。iCached使用iSlab内存管理机制实现了高效的动态内存分配和管理,大大提升了内存管理的性能。iCached使用iBalance实现了可配置和高效的动态负载均衡机制,为iCached系统提供了充分的可用性保证。   iCached提供了高效的混合异构网络集群中热点共享数据的缓存系统,通过元数据和数据管理的分离实现了良好的扩展性。iCached为应用提供了一组数据操作原语,在操作原语内部实现了多应用协作模式下共享数据的一致性,使用iCached的各种GIS应用无需考虑复杂的数据一致性问题。iCached为GIS应用提供了便捷、高性能、扩展性好、可用性高的集群GIS数据管理机制。   实验表明,iCached提供了高效的数据管理机制,无论是数据访问的延迟还是带宽指标较之传统的文件系统都取得了重大的提升。作为iCached系统核心组件的iSocket、iSlab和iBalance也都实现了设计的目标,其可复用的代码为后续的工作提供了可借鉴的系统实现。   本文研究了面向GIS应用的基于异构网络集群的共享数据缓存管理系统iCached,提出了GIS应用中热点数据管理的新方法,提供了集群中共享数据管理的新机制,为今后GIS应用在集群中的部署和研究提供了原型系统。
其他文献
随着电子商务和Internet的飞速发展,愈来愈多的消费者学会了在网上浏览信息资源,极大的方便了用户。然而随着各种信息资源的选择愈来愈多,人们经常会迷失于繁多的资源空间里
随着半导体工艺尺寸的不断缩小,集成电路设计规模越来越大,芯片的测试变得越来越困难,测试的成本也在不断增加。为了减小芯片的测试难度,提高芯片测试质量,降低测试成本,并缩短产品
动态场景重建的最大优点是能同时捕获到物体的肢体运动和高精度的形体形变运动,由此得到的物体运动及形变数据具有很强的真实感。与传统的运动捕获方法相比,动态场景重构方法在
随着成像技术的发展,产生了海量的生物医学图像,使用传统的串行计算方式已经无法满足大量生物医学图像数据的处理需求,因此,需要高性能计算技术来加速生物医学图像数据的并行处理
目前,大多数安全访问控制技术都是基于操作系统实现的,如SELinux。而在虚拟化环境下,访问控制技术通常都是在虚拟化层(Hypervisor或VMM)实现的。不论操作系统,还是虚拟化层,其安全
人群疏散模拟作为广泛应用于建筑疏散评估、群体行为演练、影视制作等方面的新兴研究热点,如何能够实现高效的人群路径规划和复杂行为建模已经成为了众多国内外研究者的重大
龙芯2号作为中科院计算技术研究所自主研发的高性能通用处理器,从其诞生之日起就和国家信息化、工业化等紧密联系到了一起,应用的范围也越来越广泛,数字信号处理领域就是其中之
随着Web技术的发展,许多信息都以服务的方式发布到网络上。一种新的利用这些信息服务构建某个领域的信息展示类应用的方式应运而生,即面向领域的信息聚合展示类Mashup应用。然
随着信息科技的发展,大量的数据被生产出来,并逐渐成为各个企业组织的重要资产。数据的丢失往往会带来重大的经济损失,甚至威胁到企业的生存。全球每年都会发生因为数据丢失造成
博客(web blog)是Web2.0的典型应用之一。博客通过提供作者与读者的交流平台而构建出交互式和动态更新的社会网络,已成为一种重要的信息传播媒介。博客的形式多样、内容灵活,极