架构及业务驱动的HBase测试方法研究

被引量 : 0次 | 上传用户:lk123ad
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术的发展和广泛应用导致产生了大量的数据,关系型数据库无法满足新兴业务的需求。为了应对海量数据的存储和管理需求,各大厂商或组织纷纷推出了不同的NoSQL存储方案,HBase就是其中著名的方案之一,在各个行业有着非常广泛的应用。在此背景下本文开展了HBase存储方案性能测试方法的研究。首先,本文介绍了NoSQL数据库的兴起和发展过程,回顾了数据库性能测试的研究现状和性能测试的一般过程,发现传统的性能测试方法没有充分的考虑系统架构对性能的影响,而现行的NoSQL数据库系统架构中的一些新特性,如系统的动态调度、数据的多副本存放策略和可配置性对性能都有着极其重要的影响。同时在特定业务中的不同用户行为下,系统的性能也存在着很大的差异。基于此,本文提出了NoSQL数据库系统性能测试的模型,涵盖架构驱动的性能测试和业务驱动的性能测试两个方面,弥补了传统方法的不足,并以HBase为例开展了实践研究。基于架构驱动的性能测试,本文研究了HBase面向列族存储的数据模型、数据的读写过程、数据表的分片式存储和数据的备份存储策略等方面的具体实现方式,分析了其中影响其性能的架构要素,包括同等数据大小下同一列族的单域与多域、单列族和多列族、数据分片的大小以及数据备份因子等,基于这些架构中的性能影响因素分别设计并实现了相应的测试方案,测试了各要素对HBase性能的影响程度。基于业务驱动的性能测试,本文研究了HBase在搜索引擎业务中的性能测试方法。根据搜索引擎业务中用户访问量的变化具有周期性这一特点,本文提出了基于时间序列的潜周期测试模型,并将该模型应用到搜索引擎业务驱动的HBase性能测试上,另外在建模的过程中使用小波技术对异常用户访问量数据进行了过滤。同时为了更加真实的反映HBase在搜索引擎业务中的性能,设计了基于用户行为特征的性能测试方案,并以YCSB测试套件为基础具体实现并验证了这种测试方案。最后,对本文的工作进行了总结,并对将来的工作进行了展望。
其他文献
为了解决色散对光纤通信系统高速率、长距离传输的限制,在分析影响光纤通信系统性能的主要原因的基础上,提出一种光纤信道仿真模型,并用MATLAB仿真LMS算法和RLS算法对10Gb/s光纤
第十三届全国人民代表大会第一次会议高票表决通过《中华人民共和国宪法修正案》,顺应了党和人民事业发展要求,体现了党的主张和人民意志的高度统一,反映了全党全军全国各族人民
报纸
如今.北京、上海等一线城市的酒店业日益临近饱和状态,无论是知名国际酒店品牌集团还是走小而特路线的精品酒店.都开始纷纷瞄准二三线城市。然而.这些非一线城市真的是酒店行业的
太平洋航线是环太平洋地区经济圈的重要运输通道,尤其是连接亚洲和北美的重要贸易通道,是国际集装箱运输的主要航线。它不仅具有国际集装箱运输各航线的普遍特点,还具有相对独特
本文在分析传统土地评价方法的基础上,探讨了县级土地评价信息系统(LEIS)建立的原则和方法。作者在吸取国内外现有经验的基础上,根据福建区域特点及土地评价要求,有针对性地设计了适用
<正> 来到巴黎,最大的感受就是,仿佛走进了一个硕大的艺术殿堂。法国本土的,外国传入的;古代的,现代的;动的,静的;具体的,抽象的……各个门类,各种形式,可以说是应有尽有。我
草莓是浆果类果树,多年生草本,南北方都可种植,是上市最早、生产周期最短的果树,在北方秋季栽种,第二年5—6月即可采摘,果实可鲜食或加工。草莓在国外属高档果品,广受消费者
地热资源开发关系着社会现代化发展,开发期间需做好相关保护工作,才能进一步提高资源的综合利用率。本文结合我国地热资源使用现状,总结了地热资源开发存在的问题,提出切实可行的
我国市场经济的飞速发展,给市场秩序的维护和规则的建构带来了巨大的挑战。为了遏制非法经营罪在司法适用中的扩张趋势,需要严格遵从其犯罪构成要件。首先要牢牢把握行政违法
中等职业教育的发展是梅州市实施科教兴市、强市战略、促进经济和社会可持续发展的重要途径。近几年来,梅州市的中等职业教育取得了长足的进步,但在发展基础、发展层次、发展后