面向分布式数据库的瓦片查询热点的缓存系统设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:dahaneralpha
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了提高WebGIS的响应速度,通常会采用瓦片地图技术。越来越多的地理信息系统(GIS)平台开始采用分布式数据库HBase来管理瓦片技术施过程中产生的大量以小文件形式存在的瓦片。瓦片访问通常存在严重的倾斜性,可能会导致HBase中热点region的出现,严重影响查询性能。设计并实现一个能有效消除HBase中热点region的缓存系统具有重要的实际意义。  针对HBase中瓦片查询过程中出现的热点region问题,分析了传统解决方案的缺点和不足,给出了一个基于缓存系统的的解决方案。结合传统的分布式缓存架构,设计了该缓存系统的体系结构,该体系结构综合了分区型缓存和复制型缓存的特点,具有缓存数据量大、扩展性好和可靠性高的优点。整个缓存系统主要包括热点region监控程序,缓存节点代理和缓存系统客户端三部分,其中热点region监控程序由热点region检测模块和热点region信息分发模块组成,实现对HBase中热点region检测和收集。缓存节点代理由状态检测模块和主节点(master)选举模块组成,实现对缓存节点的分组、启动、存活性状态检测及master的选举。缓存系统客户端由元数据管理模块,HBase访问模块,缓存访问模块和统一数据访问模块组成,实现对元数据的动态收集和维护,瓦片查询请求的分发,并对外提供了简单可用的编程接口。  最后对缓存系统进行功能测试和性能测试。测试结果表明,该缓存系统能一定程度上消除HBase瓦片查询中的热点region,提高瓦片查询性能。
其他文献
信息隐藏技术是信息安全领域的后起之秀,它可以弥补信息加密技术的不足。如果先把重要信息加密,再将其隐藏,将是保证信息安全的更有效的方法。数字视频水印技术在保护视频产品版
Internet已经成为人们生活和经济活动中一个不可或缺的重要组成部分,必须要求有一个可信和可靠的技术来监测和维护网络是否安全、高效、稳定地运行。网络测试和测量技术就是
随着计算机科学与互联网技术的高速发展,网络中产生的数据呈爆炸式增长,如何高效安全的存取数据成为互联网存储领域最大的挑战之一。iSCSI存储以其低成本、高性能和易扩展等优
Hadoop以其高可用性成为当前大数据处理使用最广泛的工具,它是Google MapReduce和GFS的开源实现。相对于可用性,Hadoop的运行效率容易受到软硬件环境的影响。大型IT公司往往部
创建逼真的三维人脸模型一直都是计算机图形学、计算机视觉和图像处理领域中一个极具挑战性的课题,随着在虚拟现实、视频会议、影视制作、以及计算机动画等方面应用的发展,近
随着电子政务建设的不断发展,电子政务建设和应用过程中的信息安全问题已经成为电子政务建设中的急待解决的一个突出问题。信息安全是建设电子政务的基础和关键。电子政务信息
随着医院信息建设的不断发展,各临床科室和医技检查科室对于业务流程优化、以患者为中心的信息共享及存贮的需求越来越强烈。而现有的各检查科室系统由于开发时间早,功能和性能
随着基于Internet商业应用的迅速发展,XML(eXtensible Markup Language,可扩展标记语言)已经成为Internet上数据表示和数据交换的标准格式,提出了对XML数据查询的要求。关系数据
互联网的发展,极大的推动了整个社会的发展,在社会、经济、教育和娱乐等各方面都产生了重大的影响。互联网与人们的生活越来越紧密,人们通过网络互相交流,共享一些资源,互联
随着市场竞争规则的变化,企业在提升产品质量的同时,越来越注意提高客户服务的质量,以提高企业的核心竞争力。中小型企业资金有限,要建立功能齐全的呼叫中心投资较大。近年来移动