云环境下频繁项集挖掘与调度策略的研究

来源 :扬州大学 | 被引量 : 0次 | 上传用户:yejing00
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
云计算提供了安全、快速、便捷的数据存储以及多元化的网络服务,人们可以利用各种数据终端通过网络获得大规模的数据计算以及各种定制服务。云计算技术已经越来越受到人们的重视与广泛研究。从大规模数据中挖掘出用户感兴趣的信息是云计算技术的重要应用领域,而云环境下各节点之间的数据传输已成为大规模数据计算的性能瓶颈之一,如何减少乃至避免数据的传输而又挖掘出具有确定性的有效信息是本文首先所做的研究。在大规模数据背景下,如何有效的管理系统资源,是衡量一个系统性能好坏的重要指标。带有截止期限的提前预定任务调度机制虽然增加了对系统资源的可预测性,但随着任务规模的增加,产生的大量资源碎片将导致系统整体性能以及任务命中率的显著下降,本文针对系统产生的资源碎片做了相关的细致的研究,大大降低了资源碎片对系统性能的影响程度。云计算的商业化特性必须使用户感受到较高的服务质量。在云环境下执行数据密集型工作流时由于存在大量的共享数据而使得用户在享受云计算所带来的高性能计算能力的同时也增加了成本开销。如何使用户的成本收益最大化,享受到最优的服务质量,本文做了较为深入的研究。本文所做的主要研究内容如下:1)为了避免在云环境下并行进行频繁项集挖掘时各个节点间的依赖数据传输,本文提出了一种基于二进制编码聚类的并行频繁项集挖掘算法,不仅通过编码聚类降低了节点间的依赖关系,并且利用一种共享多头表的方式完全避免了节点间的数据传输,大大增加了并行频繁挖掘的执行效率。虽然会产生一些少量的膨胀频繁项,但是实验证明对于多种类型的事物数据集都获得了比现有的并行频繁项集挖掘算法更高的执行性能。2)为了充分利用由带有截止期限的提前预定任务产生的资源碎片,本文用计算几何的相关知识将系统资源进行平面映射,通过对平面水平分割的形式构建多棵具有特殊结构的改进的平衡搜索树,与单树结构相比大大降低了信息更新所带来的时间开销,并通过本文提出的碎片影响度评价指标,综合考虑碎片长度和碎片时间对系统性能所造成的影响,选取最优的碎片进行资源调度,获得了比现存资源调度策略更高的系统利用率和任务命中率。3)为使用户在云环境下执行数据密集型工作流时获得满意的用户服务质量,本文提出了一种基于依赖度分片的工作流调度算法,首先对各个工作流任务进行依赖度分组并按初始参数对其进行优先级赋值,然后根据本文提出的调度算法利用分组关系对优先级任务进行优化调度放置,从而大大减少了用户的使用成本,使用户获得了理想的花费加速比和用户服务质量,同时也使云服务提供商具有更加全面完善的资源服务提供类别。
其他文献
随着互联网技术的飞速发展以及社会经济水平的日益提高,越来越多的人愿意出去旅游也使得在线旅游业蒸蒸日上,用户通过在线旅游平台查找景点并预定支付。但旅游平台上存在严重的
随着信息技术的发展,现代社会越来越多的行业及领域需要使用计算机处理大规模的各种数据。其中一类数据必须用图数据的方式来表示。对包含亿万个顶点和边的图数据进行高效、紧
随着网络通信、信息技术的发展,信息安全越来越受到人们的关注。数据加密算法DES作为典型的分组加密算法,虽然已被穷举法攻破,但因为此前DES加密应用比较广泛,还是有很好的应用基
感知纹理在计算机视觉,模式识别等领域是重要的研究课题,不论是在互联网传输领域还是人们实际生活中都有着重要的意义。本文通过对感知纹理分类实验结果的分析,探寻纹理中某些看
现代医学、航空航天、自然监控和军事等应用领域迫切需要高效的计算机方法在自然环境中实现目标搜索与跟踪。由于自然场景的复杂性,这些任务通常具有高复杂度并且对响应速度
Z-Wave协议是一种新物联网协议,它虽然简单高效,但是也存在一些问题,例如消息传输效率不高、结点负载能力弱、数据传输率低和安全性能较低等问题。在物联网智能家居领域,迫切需要
针对城市大量供热企业能耗高,缺乏统一有效的节能检测及监控技术的现状,天津市科委开发了智能化节能检测及监控系统,但是对于像天津这样的大型城市,热源厂、热力公司、公、民建筑
图像分类技术是指利用计算机软件等相关技术根据图像自身信息中所反映的不同特征,将特征不同的目标或区域划分开来的图像处理方法。传统的图像分类技术则利用对图像的特征提取
近几年来,随着社交媒体以及手持电子拍照设备的迅速发展,互联网上的图像以惊人的速度增长着,这无疑给图像理解带来了新的挑战。如何高效,准确的理解这些图片成了计算机视觉领域的
直角坐标机器人作为工业机器人重要分支,以其高精度,强负载,寿命长等特点,被广泛用于精密加工、工业自动化以及新兴的3D打印等领域。工业机器人的技术研究主要集中在轨迹规划