基于Spark负载均衡的分布式压力测试系统的设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:asd03071128
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代互联网技术的发展,软件集成度和用户规模不断扩大,软件及电子商务网站如视频门户、12306等需要承受大量用户的并发访问,压力测试成为其上线前不可或缺的关键步骤。面对日益增长的压力测试需求,常用的压力测试框架在性能上已无法有效的支持业界内多样化的需求。本文分析并发现了现有常用的压力测试软件中的问题缺陷,如:配置困难、低实时性、负载不均衡和不支持多种服务等。针对这些问题,本文提出改进后系统的设计目标,并以此开发了基于Spark负载均衡的分布式压力测试软件系统。该系统主要由控制管理、压测引擎、Yarn负载调节、服务插件等组成;并提供了统一的控制管理功能,能够降低用户操作配置并对测试结果实时的图像化展示。通过采用Spark Streaming流式计算设计实现的分布式压测引擎,可以快速的产生分布式的高并发压力,提高了多线程并发效率;并通过流式计算处理测试结果信息,为系统的实时性提供了底层计算支持。并通过改进基于Yarn平台的资源调度算法,实现了不同节点压测引擎的负载均衡,提高了系统的整体性能。还设计了服务插件化,能快速添加新的压测服务到测试系统中,旨在扩展更多不同类型的服务支持。最后,将本文设计的分布式压测系统与常用的压测系统进行了对比测试,测试结果表明本系统能够很好的支持改进节点负载均衡、压测实时性、多服务支持等,以及使用本系统进行压测的高效性、实用性和稳定性。目前本系统已正式上线于爱奇艺云平台的基础服务中,负责数个服务业务的日常压测工作,取得了良好的口碑和用户反馈。
其他文献
在全球危机的背景下,企业面临的风险越来越大,要想保障企业顺利稳定地发展,应更好地识别风险,发挥出内部控制制度的有效作用。目前我国企业内部控制制度的建立依然存在着一些
倡导绿色生产方式,加大绿色食品供给,既是满足人民群众消费升级的需要,也是促进农民增收的必然要求。今后一个时期的重点工作是以推进农业供给侧结构性改革为主线,以增加绿色
排球世锦赛、奥运会排球比赛、世界杯排球比赛,并称为世界排球三大赛事,排球世锦赛是代表全世界范围内,排球运动的最高水平单项赛事。因此,本文采用文献资料法、专家访谈法、数理统计法、录像观察法和对比分析法等研究方法,对2018年女排世锦赛前四强“自由人”技术运用效果进行对比分析。旨在探究四强自由人技术运用方面的优劣,探寻中国女排自由人王梦洁在技术运用方面的优势与不足,得出以下几点结论:1.在2018年女
防城港市边境旅游试验区于2018年4月经国务院批复设立。边境旅游试验区承载着推进沿边重点地区全域旅游发展,促进旅游业的改革创新、先行示范的重要使命。本文以全域旅游相关
<正>胃肠道神经内分泌肿瘤分为高分化神经内分泌肿瘤(WDNETs)及低分化神经内分泌癌(PDNECs),前者通常进行手术切除和(或)分子靶向治疗,而PDNECs通常采用化疗。NKX6-1是一种同
江苏省泰兴市滨江镇殷石村地处长江岸边,过去是一个贫穷落后的江边渔村。近年来,他们抢抓机遇,加快发展,坚持建设全面小康目标不动摇,全村面貌发生了翻天覆地的变化。2006年,
七月流火,激情燃烧,在这热情奔放的七月,郑州公交迎来了60周岁生日,为庆祝这一盛大的节日,7月21日下午,郑州公交在郑东新区河南省武警总队艺术中心隆重举行了“辉煌六十年”职工文
【正】 三月十五日至十七日,省人民银行召开各中、市支行行长、有整顿办公室主任、分行机关各处室负责同志参加的基层整顿工作会议。会议主要是:总结交流基层整顿试点工作经
自2017年中央发布一号文件提出推进农业供给侧结构性改革后,关于如何拓展农业产业链、价值链,壮大农业新产业与新业态则成为陕西省农村贫困地区经济发展的重点方向;并在"互联
城市公共交通优先就是人民大众优先。八师石河子市人民政府在前年投资420万元改造、扩建10个标准港湾式停靠站的基础上,2012年又投入240万元对北三路的14个港湾式停靠站进行新