【摘 要】
:
随着大数据时代的到来,工业界和学术界开发了很多分布式图计算框架来对大规模图数据进行分析处理。这些框架要正确处理顶点的副本点之间的数据一致性问题。很多框架采用急切数据一致性(eager data coherency)的方法来解决这一问题。这种方法把顶点的不同副本点看作一个不可分割的原子顶点,任何副本上的变化都要立即同步给其他副本,因而带来了频繁的全局同步和通信开销。对此,我们在之前的工作中提出了一种
【出 处】
:
中国科学院大学(中国科学院大学人工智能学院)
论文部分内容阅读
随着大数据时代的到来,工业界和学术界开发了很多分布式图计算框架来对大规模图数据进行分析处理。这些框架要正确处理顶点的副本点之间的数据一致性问题。很多框架采用急切数据一致性(eager data coherency)的方法来解决这一问题。这种方法把顶点的不同副本点看作一个不可分割的原子顶点,任何副本上的变化都要立即同步给其他副本,因而带来了频繁的全局同步和通信开销。对此,我们在之前的工作中提出了一种延迟数据一致性方法(Lazy Async)。它基于延迟数据一致性(lazy data coherency)的思想,顶点的不同副本点被看作互相独立的点,各自迭代更新,最后通过计算实现数据一致。这种方法有效减少了系统中进行数据一致所引起的全局同步和通信,极大地提升了现有分布式图计算的效率。然而,不同的开启策略会使Lazy Async得到不同程度的性能提升,这使得Lazy Async只能通过手动调优来获得最大程度的性能提升。至今仍没有行之有效的自适应优化方法解决Lazy Async的开启策略问题。本文首先通过实验分析发现了不同开启策略对Lazy Async的影响程度主要受冗余计算的影响。Lazy Async虽然避免了eager data coherency方法中存在的冗余同步和通信,但是在它的本地计算中存在着冗余计算。冗余计算比例低的开启策略会得到更好的性能提升。之后,本文通过离线分析发现了分布式图计算迭代过程中存在着解的局部性规律。即点的全局解只由某个局部解构成,而解的局部性则有利于减少本地计算中的冗余计算。最终本文针对Lazy Async设计并实现了一种基于解的局部性的自适应优化方法。这种方法在线地统计顶点上全局解和局部解的关系识别出迭代过程中出现的解的局部性,从而自适应地选择开启策略,自动得到相对最优的性能提升。这种方法克服了之前的决策树方法需要事先繁重的手动调优的缺点,并能有效处理决策树失灵的情况,使得Lazy Async成为了一种真正实用的方法。在48机的集群环境下,这种方法相比于eager data coherency方法在4种典型图算法和不同种类输入图上获得了和手动调优效果相一致的1.2到4.7倍的加速比。
其他文献
黄花败酱为败酱科败酱属植物黄花败酱Patrinia scabiosaefolia Fisch.的干燥全草,亦称“黄花龙芽”,是我国传统常用中药“败酱草”的来源之一,具有清热解毒、消肿排脓、活血祛瘀的功效,治疗慢性阑尾炎疗效极显。本文主要对黄花败酱Patrinia scabiosaefolia Fisch.的干燥全草进行化学成分研究,期望丰富黄花败酱的化学成分信息,并获得结构新颖、活性显著的先导化合
本片是一部关于可可西里生态的人文纪录片。影片通过聚焦于两位保护站队员(达才、龙周)的日常工作、生活,采用平行叙事的结构,在尽可能还原可可西里索南达杰保护站人员、志愿者工作生活的同时,突出体现了可可西里目前所面临的生态危机,如垃圾污染、水位上涨、资源匮乏等。并期望通过本部影片能够引发观众对可可西里生态问题的思考。
天空偏振光分布模式是大自然中存在的一种固有属性,可以为偏振光导航提供稳定的导航信息源。点源式偏振光测试系统只能获取天空中局部的偏振信息,制成的导航传感器具有精度低
饱和填充生物膜反应器工艺是一种基于移动床生物膜反应器(MBBR)改造而来的新型污水处理技术。该工艺填料填充率极高(70~90%),在实际应用中有投资低、占地小、污染物去除率高的特点。但是该工艺的深入研究较少,现阶段大多数的研究停留在出水效果的层面上,对于该工艺污泥产量规律和填料生物膜的周期性变化规律等更深层次的研究未见报道。本文以饱和填充生物膜反应器工艺作为研究对象,首先,建立三种高效测定水质和污
目的:抑郁是最常见的情绪障碍之一,以伤残损失年为衡量标准,抑郁成为大致残原因之首。近年来,国内报告大学生抑郁发生率的研究文献日益增多,全国各地区处在抑郁状态的大学生比例的大约在30%左右。以往研究发现某些偏颇体质(如气郁质)是抑郁的重要致病因素,然而,这些研究大多是相关研究,难以揭示其内在的具体作用机制。因此,本研究将更进一步探讨气郁体质大学生对抑郁的具体作用机制,这对抑郁的有效预防和干预都有非常
为了解淮南采煤沉陷区大气颗粒物的微观形貌、化学组成及其污染特征,于2016年12月和2017年5月分别采集了淮南市采煤沉陷区冬季采暖期和夏季灰霾期大气颗粒物(TSP、PM10和PM2.
医院感染管理是医疗质量管理的重要内容,作为应急管理的关键环节,在出现传染病突发事件时,完善的医院感染管理能进行高效有序的监测预警、现场处置和及时上报,实现社会公众情绪的稳定。识别影响医院感染管理的关键因素,有助于促进医院感染管理工作改善,保证医疗服务质量。论文主要通过Z三甲医院为例,基于扎根理论研究公立医院感染管理影响因素。文章共包括六部分,第一、二部分主要介绍医院感染管理的研究背景及意义、研究方
漆酶(EC1.10.3.2)是一种多酚氧化酶,其T1 Cu位点获得底物电子被还原,通过漆酶内部电子传递链,电子最终被传递到TNC区域将O2还原为水。漆酶具有底物特异性低、产物环保等特点,使
近年来,随着经济水平的提高和社会活力的增强,人们正面临愈加复杂的生活与工作环境,对安防监控也有更高的要求。作为智能安防监控系统中的核心技术之一,异常行为检测技术吸引
不同于以往建议采纳的研究,本研究从自我保护视角探究藏秘对建议采纳的影响,并探讨是否存在避免社会关注的中介作用,同时加入评价敏感性和秘、密重要性作为调节变量进行研究。研究一采用单因素(藏秘)被试间设计,随机取样189名某地区大学生为被试,探究藏秘对建议采纳的影响,并在状态藏秘中加入避免社会关注和内疚为中介变量,探究主效应以及中介效应。研究二采用两因素被试间设计,即状态性藏秘×评价敏感性(研究2a)&