论文部分内容阅读
云计算是当前工业界和学术研究的热点之一。云环境中的应用具有服务规模和数据规模超大的特点,现有软硬件架构与应用特点不匹配,导致系统高能耗、低效率。这些应用对计算机体系结构、网络技术和软件的设计提出了严峻的挑战。在云环境中,服务器端存储了海量的数据,I/O访问的效率成为应用性能的关键因素之一研究服务器I/O相关问题的优化策略,具有非常重要的研究意义和应用价值。为了研究云环境中应用对I/O性能的要求,论文采取应用驱动的思想,选择了流媒体服务、电子邮件服务和Web服务等三个典型的互联网应用;然后,从磁盘访问、网络通信和内存访问等多个的角度出发,研究了特定应用的I/O访问优化策略。对于流媒体应用中交互请求对服务器端造成的I/O压力,论文在分析流媒体的数据特征的基础上,针对交互请求访问数据的要求,对流媒体文件的数据组织进行了重排,提出了数据帧分类的文件流化格式,为区间缓存算法增加了针对交互的改进策略,并从理论上分析了数据帧分类存储对缓存算法的影响。我们分析邮件应用的典型场景,揭示了邮件传播中信息冗余的现象,利用服务器和客户端的计算能力,把内容去重的思想应用于邮件服务器的数据存储和传输,减轻了服务器端的磁盘访问和网络I/O压力。最后,我们综合了三个应用的内存访问特点,提出一个针对这三种应用的智能存储方案,设计了内存访问控制器、智能内存单元、互联网络和通信协议,并给出了基本的编程模型草案。根据DRAM内存访问的特点,结合不同数据访问的特征,在智能内存、常规内存和静态内存这样一个混合存储系统中,提出分类的存储策略,以提高系统访问内存的效率。论文主要的贡献和创新包括以下几点:1.我们分析了请求的数据访问和视频数据的特征,提出了针对交互的数据帧分类存储的流化方案;与播放器协作,减少了拖动操作对网络I/O的需求;根据SSD硬盘的访问特征,提出了混合存储的方案,并重组了流媒体的数据组织,加快了服务器对拖动的响应速度。2.对于流媒体服务,我们从理论上证明了区间缓存算法要优于LRU算法;结合交互的访存特征提出了面向交互的区间缓存算法,并用竞争分析从理论上分析了帧分类存储模式对交互的区间缓存算法的影响;最后通过改进内存管理和流媒体的存储,进一步提高了缓存算法的效率。3.我们修改了邮件服务器的架构,提出了邮件正文和附件分离存储的策略,利用服务器闲置的计算资源对附件进行内容去重,减少了磁盘I/O访问,节省了存储空间;进一步,我们基于内容去重对SMTP协议进行了扩展,减少了SMTP服务器之间的数据传输和传输时延;与客户端协同工作,还可以进一步降低服务器的计算量。4.设计了一个面向云计算的智能存储系统,采用异步和同步混合的调度策略来支持在内存模块中引入计算;结合内存访问的特点和数据访问的特征提出了基于智能内存、静态内存和常规内存的分类存储方案。