论文部分内容阅读
视频点播系统中的流媒体播放服务是近年来最热门的互联网服务之一。这类服务通常建立在大规模服务器集群上,以保障对大量用户需求的及时响应。在传统的自建型数据中心中,对流媒体播放任务的调度依据主要以数据局部性为主,并未考虑这类任务的时间周期变化性,使得集群服务器未得到最大程度的利用,造成设备成本、电力资源的浪费;在新兴的云平台虚拟集群中,单一种类的资源配置亦无法充分利用公共设备按需使用的特性,导致较高的租用成本。针对以上问题,本文提出基于节能的流媒体播放任务调度算法和基于成本控制的资源配置算法,以降低数据中心的使用成本,合理利用公共平台虚拟资源。主要工作从流媒体播放任务的特征分析与预测,调度与集群节能,以及云平台上的资源配置与成本控制三个方面展开。1.对视频点播系统中的流媒体播放任务特征进行分析,给出基于用户行为特征的任务长度预测方法,和基于历史数据特征的任务量预测方法,并对预测方法的准确性和开销进行了分析。对于流媒体播放任务的特征预测在对任务的调度和资源配置工作中起到决定性的作用,实验表明两种预测方法均有较高的准确性和较低的开销,能够有效地为后续算法进行服务。2.基于任务长度预测方法,提出了面向节能的流媒体播放任务在线调度算法,建立数学模型并利用真实数据完成模拟实验。本文发现长度特征对流媒体播放任务调度的影响,及传统调度方式对服务器集群电力资源造成的浪费;继而利用长度特征对流媒体播放任务进行分类,并根据任务种类通过排序、隔离等方法进行调度。实验表明该算法可大幅降低数据中心的电力开销,有效利用服务器集群。3.基于任务量预测方法,提出面向成本控制的流媒体播放任务资源配置算法,利用真实数据和商用云平台完成实验。该方法结合流媒体播放任务量周期性变化的特点,综合利用不同计价类型的云平台实例及存储资源,合理分配各类任务可使用的资源类型和资源的比例。实验表明该算法可在开销极低的情况下将云平台上各类资源开销降低至少20%。