【摘 要】
:
为了解决配用电环节产生的大数据经常出现数据倾斜而造成分布式运算环境利用效率不高的现象,提出了一种用于配用电大数据分布式计算的负载均衡框架。框架首先定义了中间结果
【机 构】
:
南瑞集团(国网电力科学研究院)有限公司; 北京科东电力控制系统有限责任公司;
【基金项目】
:
国家电网公司总部科技项目(“物理分布、逻辑统一”体系架构下的支撑平台关键技术研究资助项目)~~
论文部分内容阅读
为了解决配用电环节产生的大数据经常出现数据倾斜而造成分布式运算环境利用效率不高的现象,提出了一种用于配用电大数据分布式计算的负载均衡框架。框架首先定义了中间结果提前传输机制,通过限定范围的可控参数控制传输进程,将中间结果进行排序,传输低于负载均值的分片。然后介绍了分片的二次分拆原理,根据分片的大小动态决定分拆计划。完成分片的分拆之后,介绍了如何利用贪心启发式算法实现分拆结果的均衡分配,结合布隆滤波器实现了分拆后分片的传输。最后通过实验验证,文中提出的配用电负载均衡框架能够有效地提高配用电大数据分布式运算系统的效率,减少因数据倾斜造成的部分节点因运算任务过重而导致的总体执行时间过长现象。
其他文献
目的:研究危急值报告制度在放射科质量管理中的应用。方法:以2017年1~6月放射科入院治疗的134例患者作为对照组,2017年7~12月放射科入院治疗的126例患者作为观察组,观察组采用
故障现象:一辆延安SX2190型汽车,在正常行驶中换挡后稍松加速踏板时,变速器的后部会发出很大的响声。该响声类似于挂挡不到位、接合套与齿轮相互撞击发出的“铿、铿”声。其特征
本文从信号合成原理出发研究了一种基于相位干涉的相控阵天线外场校准新方法,并结合超定方程组求解推导了相位差公式.该方法利用移相器进行通道相移特定状态的切换,通过多通
故障现象:一辆BJ2022JLC型勇士汽车,出现制动过软,并伴有ABS警告灯点亮故障。故障检查:检查制动液,液面达到下刻线.油质无明显异常;用车博士读取故障码,显示为右后轮速传感器信号错误
<正> 历史的车轮在滚滚向前,改革已成为中国社会的大趋势,一场静悄悄的革命正在九百六十万平方公里的土地上扩展。它给我们古老的民族带来了新的生机,新的希望,使我们的经济
研究南方红豆杉天然林木材的密度、胀缩性、吸水性和化学成分.结果表明:南方红豆杉天然林木材的基本密度为0.581 g·cm-3,气干密度为0.686 g·cm-3,体积干缩系数为0.3
A set of analytical equations for the variation of the axial force along depth and the pile-top load-settle-ment curve were established, using tri-linear soften
企业的绩效管理是企业管理的重要组成部分之一,是人力资源管理的重要内容,但是在目前我国国有企业的发展实践中却存在着很多绩效管理局限于形式,员工绩效难以提高的问题。其
采用正交试验,研究了原料及助剂用量对膨化竹纤维—水泥复合材料的表观密度、抗压强度和吸声系数的影响。结果表明,随着纤维用量的增加,表观密度呈直线下降,抗压强度下降到一
以尾巨桉为研究对象,通过测定新鲜尾巨桉叶片水浸提液对菜心、白菜、水稻种子萌发及芽生长的影响,对其化感作用进行生物评价。结果表明,与对照相比,当尾巨桉叶片水浸提液质量浓度