高通量计算机典型服务类应用负载与体系结构特性分析

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:zwfyazl
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网用户和数据的急剧增加,高通量计算(HTC)的需求越来越大,同时数据中心的硬件和功耗成本也越来越高,以传统应用为基准而设计的体系结构面临着新的挑战。针对HTC应用的体系结构特性分析可以为设计适合HTC的新型体系结构提供依据。   搜索引擎是最具代表性的服务类HTC应用,本文将以搜索引擎为例,通过CPU性能计数器分析其体系结构特性。研究应用特性首先需要负载驱动应用,对服务类应用而言,负载真实性可能会影响性能和体系结构特性。由于真实系统的Trace较难获得,大部分的Web负载生成器采用概率模型生成负载。本文通过分析真实的搜索引擎日志发现传统的概率模型不足于生成真实负载,通过对比真实负载和合成负载发现两者在性能和体系结构特性上有较大差别。   本文最终将使用真实负载驱动搜索引擎,并与五类典型Benchmark做对比,分析搜索引擎在计算机体系结构方面特性。   本文的主要研究内容和贡献包括:   1.对三个真实的商业搜索引擎日志进行了分析,从请求速率波动、请求内容、请求局部性三方面评测了常用的概率模型与真实负载的拟合程度,结果表明仅使用现有的概率模型难以生成真实负载。   2.选择Nutch作为搜索引擎实现,使用不真实的请求波动方式、请求集合规模、时间局部性合成不真实的负载并与真实负载做对比,比较了它们在响应时间,操作系统层性能数据以及CPU性能计数器数据三方面的差异,结果表明在评测搜索引擎性能和计算机体系结构特性时必须使用真实负载。   3.实现了一套分布式Profile工具ProfMan,用于辅助分布式应用体系结构特性分析。功能包括:在多台机器之间实现数据和配置快速同步;Profile流程管理和资源分配;收集应用操作系统层和CPU硬件计数器的值;对收集到的数据做统计和可视化分析等。   4.使用真实负载驱动Nutch并和Gridmix(Map-Reduce的典型负载)、SPECweb2005、TPC-C、SPECcpu2006、HPCC(高性能计算Benchmark)做对比,利用ProfMan收集和分析CPU性能计数器的值,从指令的比例、指令Stall的原因和访存延迟三个方面分析了搜索引擎在计算机体系结构方面的特性。  
其他文献
在当今信息时代,伴随社会、经济、文化等的飞速发展,生活中不断涌现了大量的中文未登录词语。这些未登录词语在丰富了语言色彩的同时,也给中文信息处理领域带来了前所未有的
早期且准确的软件成本估算在控制项目计划,降低项目失控风险方面起着重要的作用。然而在软件生命周期的初始阶段,项目特征信息的缺乏会导致成本估算的准确度不高。而在项目中
由于机器视觉技术不断地进步,在热加工工业检测的领域中,单目立体视觉技术已经被运用到车间的加工中,其操作如下:工件识别,工件定位,工件抓取。单目立体视觉技术能够在多种情
在图像信号产生、传输以及记录过程中,由于受到不同程度的噪声干扰从而导致图像的质量下降,这样就会给后期的边缘检测、特征提取等带来很多的困难,所以对含有噪声的图像进行
随着科学技术的快速发展,人们安全意识逐渐提高。对人脸应用的需求日益增加。人脸信息较其他人体生物特征而言具有无侵入性,更加容易被观察的特点。人脸识别技术是近年来人工
洪水是一种自然现象,其在自然灾害中占有很大比例,所造成的损失巨大,为了抵御洪水灾害,人们采取了一系列措施,有工程措施,也有非工程措施。随着计算机技术和地理信息系统技术等的飞
软件构件技术近年来得到了快速的发展,基于构件技术的软件开发方法把原来软件开发的重点将软件编程转移为利用已有构件组合集成新的软件系统。软件复用作为一种提高软件生产率
接触力的计算是解决各种接触动力学问题的关键。接触动力学问题是强非线性问题,材料非线性、几何非线性、接触边界非线性及接触界面摩擦现象描述的不确定性等四方面非线性的交
排样问题来源于实际工作生产,广泛存在于许多国民经济行业中,如机械、家具、五金、服装行业等,如果能有效的解决该问题,可以提高板材利用率以节约原材料,降低成本消耗,提高经
目前,随着计算机网络的发展,Web Services成为网络技术发展的一个热点。动态组合技术是其中最重的一个有关Web Services的问题之一。作为当前Web Services研究的热点,Web Ser