Hadoop平台下基于截止时间限制的动态调度算法的研究

来源 :计算机应用研究 | 被引量 : 0次 | 上传用户:xiaogang7922
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了满足有截止时间限制的MapReduce作业的需求,提出一种基于截止时间限制的动态调度算法(DCDS)。该算法实时监控作业运行状况,并对作业运行时间进行动态估算,从而确定作业优先级;对于时间紧迫的作业,可通过抢占策略来保证在用户要求的截止时间内完成。实验结果表明,与Hadoop平台现有的调度算法相比,该算法不仅能满足作业截止时间的要求,也提高了系统资源的利用率和吞吐量。
其他文献
现有的网络编码广播重传算法都没有考虑对长度不等的数据分组进行编码重传时的编码效率及相应的编码算法优化问题。为此,针对性地提出一种基于非对称网络编码的无线多媒体广播
在协作认知网络中,针对次用户作为转发中继时主用户信息容易被窃听的问题,提出了一种基于功率分配的安全波束成形设计方法。根据任意转发波束成形功率占比,以次用户的传输速
对于分布不同或分布相似的未知类型的网络攻击,目前的异常检测技术往往不能达到预期的效果。针对上述问题,研究了一种基于迁移技术和D-S证据理论的网络异常检测方法。首先用迁移学习方法对已知网络攻击进行建模,此模型在构建时考虑了不同分布的异常攻击间的差异;然后用其训练得到的分类器对未知的网络行为进行分析,结合D-S证据理论,可以检测出分布不一致的未知攻击类型。实验结果表明,该方法泛化了传统的网络异常检测技
针对基本引力搜索算法搜索速度慢和容易出现早熟的缺点,提出了一种基于信息熵的混合引力搜索算法。受粒子群算法的启发,所提算法通过改进基本引力搜索算法的速度和位置更新式