Spark计算节点同构环境下Executor的内存分配优化模型

来源 :福建质量管理 | 被引量 : 0次 | 上传用户:l541306072
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在对Spark云计算平台的作业执行机制进行研究分析的基础上,针对目前Spark处理作业时Executor的人为请求资源机制,提出了一种Spark计算节点同构环境下Executor所需内存资源的优化分配算法,该算法能够基于处理数据的数据量对分布式内存资源进行弹性分配,达到了Spark在数据量变化情况下合理利用分布式内存资源这一目的,并对此进行了仿真实验验证.
其他文献
该文通过对“中心--外围论”,“幼稚产业保护论”,“战略贸易论”及贸易动态利益的分析,阐述了中国对经济全球化应持有的态度及相应的对策,得出的结论是,中国应该切实遵循比
该文从电子货币的界定和历史发展入手,在第一章中介绍了电子货币的分类、特点、作用、问题,力图对电子货币给出一个大概的轮廓.此后的第二章,着力于电子货币的理论问题探讨,
该篇论文共分四章:第一章,股票期权的基本理论.该章在介绍股票期权概念和内容的基础上,重点说明股票期权的激励原理和功能.第二章,股票期权的实践和发展.通过介绍股票期权在海
这幅作品是5月3日在广西南宁水上基地举行的全国摩托艇锦标赛中选手精彩表演的瞬间。摄影者使用较快的速度,进行追随摄影。用这种方法拍摄的照片,物体相当清晰,但背景会呈现
文章共分五部分.在引言部分,通过一个现实生活中的明例--亚洲金融危机与美国经济持续增长--引出风险资本市场是推动经济增长的重要因素.第一部分对风险资本市场进行了界定.第
简述了新版GMP对无菌工艺验证提出的具体要求、无菌工艺验证的目的和方法,介绍了培养基模拟灌装试验方案的设计、实施,并对试验结果进行了分析。
一、 食堂现状调查rn该食堂现状描述据考察, 该食堂现在采用的是传统的服务流程—窗口服务式. 该食堂现有服务的资源占用和流程描述 (以午餐为例): 每天上午11点钟之前, 食堂
期刊
本文研究了全矢动平衡算法,阐述了单面和双面高速动平衡原理,以单圆盘对称Jeffcott转子模型来分析,讨论了转子涡动微分方程的推导过程,通过单X及单Y方向动平衡实验分析过程与
请下载后查看,本文暂不支持在线获取查看简介。 Please download to view, this article does not support online access to view profile.
期刊
本文介绍了新研制的齿轮测量仪的特点、测量原理及技术参数。 This paper introduces the characteristics of the newly developed gear measuring instrument, measuring