支持多I/O并行的单机大规模图计算系统

来源 :上海交通大学 | 被引量 : 0次 | 上传用户:terrychang2009
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
图是一种简单直观的数据表现方式,现实世界中的很多问题都可以转化成图,例如社交网络中的用户关系、电子商务应用中的用户评价都可以借助图来表示。很多基于图数据的处理系统也就应运而生,这些都统称为图计算系统。图计算系统大致有分布式图计算和单机图计算这两大类:分布式图计算的思想是,通过增加机器数量以达到分散数据、平衡负载的目的,常用于处理大规模图数据;单机图计算又可细分为单机内存式和单机外存式,分别用于对小规模和大规模数据的处理中,该类图计算系统一般根据服务器性能分配相应数量的线程以提高系统的并发能力,out-of-core技术也被运用到单机外存系统中以解决I/O数据加载问题。在相同资源条件限制下,单机系统往往具有比分布式系统更好的性能,这是因为分布式中多台机器的通信和同步都需要更高代价。在处理大规模数据时,通过增加廉价的外存设备资源以及对并行I/O技术的优化,单机外存系统就能达到不错性能,而无需浪费昂贵的分布式资源。现阶段已有一些针对单机外存系统的研究,例如GraphChi、X-stream、GridGraph。它们大都致力于优化外存数据访问以提高I/O性能,例如X-stream和GridGraph通过保证对外存数据的顺序读写来降低I/O延迟,GridGraph则是通过减少外存数据加载量、粗粒度的提交请求数据来减少I/O访问次数。但它们都疏忽了对内存处理效率的优化,随着I/O性能的提升,内存处理时间会逐渐突出,甚至上升为系统性能瓶颈,而那时它们不再占据优势。本文提出了一个通过并行I/O技术,能够在单机上运行大规模图数据的计算系统,并从计算和I/O加载的协同关系、内存访问方面进行优化,从而解决以上问题。本文提出的异步计算-I/O加载模型真正的让计算和I/O过程并行起来,而不再是GridGraph所用的同步模型的串行执行。在异步模型中,计算和I/O加载过程相对独立,可以根据各自任务的访问需求分配不同线程组,避免了同步模型中统一分配策略造成的I/O线程过量问题,从而达到充分利用内存和I/O带宽的目的;此外,本文系统通过异步I/O引擎LIBAIO不仅提升了外存访问带宽,而且还进一步平衡了各线程在内存中的工作负载;在内存访问方面,本文系统基于NUMA架构进行了优化,通过远端顺序和本地随机相结合的内存访问策略,避免了对远端数据的随机访问,极大的提高了内存访问效率。为了保证对远端数据的顺序访问,在预处理阶段,本文系统需要对图数据按照源点或目的顶点重新排列,为了减少排序开销,本文提出in-memory排序和归并外排相结合的排序策略,从而避免排序对预处理性能的影响。通过实验数据,不难发现,本文系统无论是在I/O性能还是内存访问效率方面都具有显著优势。
其他文献
环境和能源是21世纪人类面临和亟待解决的重大问题,基于半导体的光催化技术能够利用清洁的太阳能实现降解和矿化多种有机污染物,转换和储存能量等多种应用,是科研人员一直以来关注和研究的重点。重视和加强这方面的研究工作对国民经济的可持续发展,保护生态环境都具有重要意义。光催化技术利用半导体吸光产生电子和空穴,分别和相应的捕获剂发生氧还原反应,实现有机物降解,能量转换和存储等应用。随着近年来纳米技术的发展,
光的吸收和色散是光学介质的基本性质,也是研究量子光学、非线性光学、光与原子相互作用的一个重要课题。尤其电磁诱导透明,相干布居捕获等等这些人们感兴趣的新现象的基础就
表面结构CVD金刚石工具是通过化学气相沉积(CVD)技术以及后续的微结构加工方法制造的新型加工工具。研究表明,CVD金刚石涂层表面的微观结构能够显着提高刀具的加工性能,不仅
催化裂化(FCC)装置主要用于生产液化气、汽油、柴油等轻质油,是炼油厂对重质油加工的重要设备。近半个世纪以来,随着市场对液化气、烯烃等更多清洁能源的需求不断增加,对于FCC模型仿真技术的优化和研究具有重大意义。FCC提升管模型构建的主要挑战有:①用于石油二次裂解过程中的进料原油以及提升管出口油气的特征化表达;②提升管内发生的FCC反应规模庞大,构建一套符合反应机理的连续性反应网络十分困难;③整个提
面对当前低迷的国际油价,化学驱技术的经济效益面临巨大的挑战,抗风险能力不足,尤其是在中国。因此,“低成本、高效率”的化学驱方法和体系将是下一阶段我国提高采收率技术的
随着遥感技术的高速发展,遥感图像包括了越来越多的地面信息,而对遥感图像中感兴趣目标的检测已成为国内外遥感、测绘、军事等应用领域的研究热点之一。将由卫星拍摄的遥感图
CTHQ25钢是一种典型的钎具钢,具有较高的回火稳定性。由于钎具在服役过程中要承受循环应力和冲击载荷,因此这类钢存在表面易磨损的问题。本文针对CTHQ25钢表面高强度的要求,
[目的]探讨首发未服药精神分裂症患者与其未患病父母及健康对照组脑静息态低频振幅的异同,研究精神分裂症患者与其健康父母是否存在共同异常的脑区静息态活动,为寻找精神分裂
背景原型泡沫病毒(Prototype foamy virus,PFV)隶属于逆转录病毒科泡沫病毒亚科泡沫病毒属。泡沫病毒在自然界有着较广泛的宿主范围,由于原型泡沫病毒最早是从人体中分离出来
随着社会的发展和科技的进步,高光谱遥感技术的发展为精准农业、食品安全、工业分选、文物保护、刑侦文检、伪装识别、环境监测、药品医学等领域带来了新的发展契机与挑战。