带数据安全和隐私约束的大数据任务云服务调度

来源 :东南大学 | 被引量 : 0次 | 上传用户:Baoji8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据安全性、隐私性、信任度等广泛存在于生物工程、智能制造、现代农业、智慧医疗和公共安全等诸多领域,面向飞速增长的大数据,如何进行快速有效的存储和处理是核心问题,其依赖于所采用的数据分析框架和相应的计算环境,在已有的大数据计算框架中,运行于云计算环境的Map Reduce和Spark是典型代表。大数据环境下以数据块为单位进行存储和处理,在不同的计算框架下,任务间的约束关系并非独立,可能线性约束(如Map reduce框架下的任务),也可能非线性约束(如Spark框架下的工作流任务),应用还可能有截止时间的要求,如何将这些任务快优稳地调度到地理上分布且还可能异构的云计算资源上是实际应用的关键;其次,安全性、隐私性、信任度等不同需求大大增加了调度难度。本论文研究面向具有安全、隐私、信任、中断约束等实际应用需求的大数据任务调度具有重要的理论意义和广泛的应用价值。论文的主要工作如下:(1)考虑具有安全性和中断约束的分布式Map Reduce任务调度,提出一个具有安全性和中断约束的算法框架,包括任务匹配、队列排序和中断检验的三个算法组件。提出map任务阶段考虑任务优先级和数据安全性的任务和资源匹配策略;构建reduce阶段开始前对已分配map任务进行排序并采用最早可用时间优先规则对reduce任务进行排序的机制;建立依据据中断概率对中断节点任务进行重调度以调整映射过程的方法。基于随机实例,采用方差分析技术校正算法参数;基于标准测试集对算法进行对比,对比结果表明所提出算法性能受到中断概率和节点数影响较大。(2)考虑具有信任约束的云工作流调度问题,建立基于直接信任和间接信任的通用信任模型;提出一个迭代调整启发式算法框架,包含初始解生成、候选解构造和结果调整的算法组件;建立初始解生成的三种启发式候选规则,提出两种候选解构造策略以进行局部搜索,基于最小化总成本信任比构建最大最小规则的解调整策略。基于随机实例,采用方差分析技术校正算法参数;基于标准测试集将校正后的最佳算法与现有类似调度问题的修正算法进行对比,实验结果验证了所提出算法在性能上的优越性。(3)考虑具有隐私数据的混合云工作流调度问题,提出一个具有隐私数据的混合云工作流调度算法框架,包含截止期划分、stage排序、任务调度和结果调整等四个算法组件;构建出截止期划的三种不同候选规则算子,建立stage排序的三种简单规则候选操作,分别提出隐私任务和非隐私任务的调度策略,构造基于空闲slot搜索的结果调整方法,通过提高虚拟机的利用率以最小化租赁成本。基于随机实例,采用方差分析技术校正算法参数;基于五种不同结构的科学工作流标准测试集对算法进行对比,实验结果表明所提出在绝大部分情况下优于对比算法。(4)考虑具有数据亲和性的云服务工作流调度问题,提出一个具有数据亲和性的云服务工作流调度算法框架。该框架包含了四个算法组件:根据Stage的不同时间参数的优先级对Stage进行排序,对Stage内并行执行的任务进行排序,设计了四种虚拟机搜索策略为任务分配资源,最后对前三步获得的解进行优化,调整Stage序列,利用空闲时间快进一步最小化最大完工时间。通过模拟实验确定算法框架中每个算子的最优选择,然后在两种科学工作流实例上与修改后的类似算法进行比较,证明了该算法的高效性。
其他文献
学位
学位
环境规制的加强特别是绿色信贷政策的实施,将促进融资环境持续发生改变,进而对高污染企业的债务融资成本产生影响。在这一过程中,银行业的市场结构又会对上述影响发挥“调节器”的作用。本文在深入剖析环境规制影响企业债务融资成本内在机理的基础上,将“十一五”时期我国严格实施的二氧化硫减排计划作为一项准自然实验,结合中国工业企业数据和商业银行分支机构数据,实证评估环境规制强度对高污染企业债务融资成本的影响,以及
学位
“债权物权化”在我国理论和实务两界运用已久,但其内在机理却鲜有深究。值得关注的是,“债权物权化”现象域已然庞杂并呈现出随意、散漫的扩张趋势,此种“合并异类项”的发展势头无疑会为债物二分体系引来莫须有的批判,将“债权物权化”进一步推向混乱和无解。“债权物权化”的范畴厘定,不仅事关债物二分体系在我国民法理论与法制中的基础性地位,还将对一般财产法体系和其他部门法产生关联效应。“债权物权化”源于德国学说“
全面扶持小微企业发展,为我国经济高质量发展注入活力与新动能,是我国经济平稳运行和转型升级的必然要求。长久以来,融资约束问题一直严重制约着小微企业成长。为缓解小微企业融资困难,进一步加强金融服务实体经济的功能,我国央行于2014年6月开始实施定向降准这一结构性货币政策工具,旨在鼓励商业银行等金融机构向小微企业等国民经济重要部门提供信贷资源,以缓解这些企业的融资困难。不同于传统“一刀切”的全面降准政策
本文首先探讨新型城镇化进程中的文创特色小镇与产业发展、经济转型升级的关系;详细分析了浙江省特色小镇的发展历程、空间特征、运营机制和本质探究,进而对文创特色小镇概念进行了界定。同时收集整理了浙江省11个正式命名的文创特色小镇2015年至2018年的相关统计数据,并运用麦肯锡7S模型和波特五力模型等方法,考察了文创特色小镇发展的共性要素和独特要素。在此基础上,本文借鉴国内外先进城镇化发展模式与经验,进
当前,我国已经进入了4G时代,并且正在向5G时代演进。由于5G在我国还处于测试阶段,大规模商用还没有开始,为此本文主要结合4G时代我国通信运营商区域公司的业务营销实践进行一些有益探讨。在当前我国通信行业发展体制下,主要是由移动、电信、联通等三家电信运营商来主导市场,其中移动公司一直占据行业领先地位,电信、联通也正在利用各自优势进行差异化竞争,特别是在4G业务方面,三家运营商几乎占在了同一起跑线,也
学位
学位