论文部分内容阅读
为了提高WebGIS的响应速度,通常会采用瓦片地图技术。越来越多的地理信息系统(GIS)平台开始采用分布式数据库HBase来管理瓦片技术施过程中产生的大量以小文件形式存在的瓦片。瓦片访问通常存在严重的倾斜性,可能会导致HBase中热点region的出现,严重影响查询性能。设计并实现一个能有效消除HBase中热点region的缓存系统具有重要的实际意义。 针对HBase中瓦片查询过程中出现的热点region问题,分析了传统解决方案的缺点和不足,给出了一个基于缓存系统的的解决方案。结合传统的分布式缓存架构,设计了该缓存系统的体系结构,该体系结构综合了分区型缓存和复制型缓存的特点,具有缓存数据量大、扩展性好和可靠性高的优点。整个缓存系统主要包括热点region监控程序,缓存节点代理和缓存系统客户端三部分,其中热点region监控程序由热点region检测模块和热点region信息分发模块组成,实现对HBase中热点region检测和收集。缓存节点代理由状态检测模块和主节点(master)选举模块组成,实现对缓存节点的分组、启动、存活性状态检测及master的选举。缓存系统客户端由元数据管理模块,HBase访问模块,缓存访问模块和统一数据访问模块组成,实现对元数据的动态收集和维护,瓦片查询请求的分发,并对外提供了简单可用的编程接口。 最后对缓存系统进行功能测试和性能测试。测试结果表明,该缓存系统能一定程度上消除HBase瓦片查询中的热点region,提高瓦片查询性能。