云环境中典型应用的I/O优化策略研究

被引量 : 7次 | 上传用户:huawei_2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算是当前工业界和学术研究的热点之一。云环境中的应用具有服务规模和数据规模超大的特点,现有软硬件架构与应用特点不匹配,导致系统高能耗、低效率。这些应用对计算机体系结构、网络技术和软件的设计提出了严峻的挑战。在云环境中,服务器端存储了海量的数据,I/O访问的效率成为应用性能的关键因素之一研究服务器I/O相关问题的优化策略,具有非常重要的研究意义和应用价值。为了研究云环境中应用对I/O性能的要求,论文采取应用驱动的思想,选择了流媒体服务、电子邮件服务和Web服务等三个典型的互联网应用;然后,从磁盘访问、网络通信和内存访问等多个的角度出发,研究了特定应用的I/O访问优化策略。对于流媒体应用中交互请求对服务器端造成的I/O压力,论文在分析流媒体的数据特征的基础上,针对交互请求访问数据的要求,对流媒体文件的数据组织进行了重排,提出了数据帧分类的文件流化格式,为区间缓存算法增加了针对交互的改进策略,并从理论上分析了数据帧分类存储对缓存算法的影响。我们分析邮件应用的典型场景,揭示了邮件传播中信息冗余的现象,利用服务器和客户端的计算能力,把内容去重的思想应用于邮件服务器的数据存储和传输,减轻了服务器端的磁盘访问和网络I/O压力。最后,我们综合了三个应用的内存访问特点,提出一个针对这三种应用的智能存储方案,设计了内存访问控制器、智能内存单元、互联网络和通信协议,并给出了基本的编程模型草案。根据DRAM内存访问的特点,结合不同数据访问的特征,在智能内存、常规内存和静态内存这样一个混合存储系统中,提出分类的存储策略,以提高系统访问内存的效率。论文主要的贡献和创新包括以下几点:1.我们分析了请求的数据访问和视频数据的特征,提出了针对交互的数据帧分类存储的流化方案;与播放器协作,减少了拖动操作对网络I/O的需求;根据SSD硬盘的访问特征,提出了混合存储的方案,并重组了流媒体的数据组织,加快了服务器对拖动的响应速度。2.对于流媒体服务,我们从理论上证明了区间缓存算法要优于LRU算法;结合交互的访存特征提出了面向交互的区间缓存算法,并用竞争分析从理论上分析了帧分类存储模式对交互的区间缓存算法的影响;最后通过改进内存管理和流媒体的存储,进一步提高了缓存算法的效率。3.我们修改了邮件服务器的架构,提出了邮件正文和附件分离存储的策略,利用服务器闲置的计算资源对附件进行内容去重,减少了磁盘I/O访问,节省了存储空间;进一步,我们基于内容去重对SMTP协议进行了扩展,减少了SMTP服务器之间的数据传输和传输时延;与客户端协同工作,还可以进一步降低服务器的计算量。4.设计了一个面向云计算的智能存储系统,采用异步和同步混合的调度策略来支持在内存模块中引入计算;结合内存访问的特点和数据访问的特征提出了基于智能内存、静态内存和常规内存的分类存储方案。
其他文献
选购长江安徽铜陵江段野生紫薄鳅,根据生态原理,模拟长江水域生态自然环境,从驯化场所、水质管理、饲养管理和病害防治等方面探索长江紫薄鳅野生驯化与池塘生态养殖技术。
佛罗伦萨,文艺复兴的发源地,也是西方近代史学的摇篮。在14世纪后期到16世纪中期短短一百多年的时间里,涌现出一大批杰出的史家。佛罗伦萨史家大多具有良好的古典学术修养,又
迟子建是中国当代文学领域中具有独特价值和魅力的作家。国内外文学界尤其是国内文学界对其研究多见诸报端,但是这些研究多拘于对其故乡书写形态与温情叙述手法的探讨。而其作
自从2003年我国首只货币市场基金面世以来,货币市场基金在我国经历了初期的高速发展,至2008年底,货币市场基金总规模一度攀升至3900亿。但2009年后发展则陷入了停滞状态,总规
目的制定补脾治瘫丸的质量标准。方法采用显微鉴别法对方中黄芪、山药、赤芍、僵蚕、酸枣仁、党参、当归进行定性鉴别;采用薄层色谱法对方中黄芪进行定性鉴别;采用高效液相色谱
儿童皮鞋涉及儿童健康安全,目前我国童鞋参照执行的标准并未完全解决童鞋的安全问题,还存在相当一部分的安全监管空白,存在较高质量安全风险隐患。本文根据近年来出口儿童皮
成本管理作为企业经营管理的重要内容,对于促进实现企业利润水平提升,具有非常关键的作用。本文针对企业集团成本管理,首先简要介绍了企业集团成本管理的主要内容,进而分析了
我们都知道π=3.1415926……,它是一个无限不循环小数,你知道它是怎样计算出来的吗?其实π是一个无穷级数,它有很多种计算方法,本文将介绍π的两种计算方法。
本文阐述了IBA已完成的项目与鲁尔区的历史背景;探究了艾姆舍公园项目的参与者、资金来源、功效与成果;总结出该项目对于工业区域向文化区域转型的更新方法。
基于扩展的引力模型,本文就解释中美贸易不平衡的主要观点:贸易政策论、美国在华直接投资论、产业转移论和人民币汇率论的解释能力做了定量分析。结论表明:美国在华FDI并不是