论文部分内容阅读
IVCE(Internet-based Virtual Computing Environment)平台是一个基于英特网的虚拟计算环境,它主要为使用者提供高效、可靠的服务,同时让他们可以充分利用和共享平台上的公共资源。由于平台系统复杂,任务并发量高,因此如何对任务进行合理调度,提供高质量的云服务是IVCE平台的关键技术之一。此外,平台任务繁多、需求模糊、种类庞杂,如何挖掘任务的特性,找到任务之间的联系也成为了 IVCE平台一个重要的研究方向。针对IVCE平台存在的上述问题,本文首先采用改进的聚类算法对任务进行聚类,找到任务的共性;接着,将增强学习算法应用到任务调度中,提高了平台整体运行效率和服务质量;最后,设计并实现了基于上述理论的任务调度系统。本文的主要研究内容包括:(1)提出了改进的核k均值算法并将其应用到任务聚类中。传统的核k均值算法存在两个问题:一是在聚类时k值需要人为确定,并且无法更改。当遇到高维度、海量的数据集时,很难准确估计出k值的大小。二是对于需要聚类的样本数据,每类样本数量是不同的,且每个样本点的重要性也不同。所以聚类结果易受到多数样本点的影响,降低聚类结果的准确性。针对上述问题,本文提出了一种改进的核K均值算法,即自适应核K-均值(Adaptive Kernel Kmeans),该算法能根据实际情况在一定范围内对k值进行调整,包括分裂和合并两个操作,同时对距离函数增加权值来区分不同样本的重要性。从UCI数据集的实验结果可知,采用改进的核k均值算法与核k均值算法相比,聚类准确率能够提升11%,迭代次数减少16.7%。最后该算法将IVCE平台的9种任务分为5个类别,并对任务聚类前后的执行时长进行了测试,发现任务平均执行时长减少了 23%,说明改进后的算法能够更好地挖掘任务之间的共性。(2)提出了基于增强学习算法的任务调度策略。为解决IVCE平台任务和资源匹配程度低导致的运行效率低的问题,本文提出将增强学习算法中的QLearning应用到任务调度策略中。通过建立任务调度模型,定义系统状态,行为和回报函数去解决资源匹配的问题。为了加快求解速度,本文采用BP神经网络进行非线性逼近,减少了调度算法的时间。实验结果表明,基于QLearning算法的调度策略在任务驻留时间、任务成功率、资源消耗这几个方面的表现都优于其他调度算法,因此该策略能够提升IVCE云平台整体的运行效率。(3)设计并实现了基于QLearning的任务调度系统。本文最后实现了基于上述理论的任务调度系统。首先对系统的整体架构进行设计,接着对系统中的各个模块的设计与实现进行了详细地阐述,包括应用注册模块、任务接收模块、任务聚类模块、任务调度模块、任务回收模,最后对各个模块进行基本功能测试,验证系统的正确性和完整性。测试结果表明,该调度系统功能完善,能够实现对任务的合理调度。