互联网技术的应用导致了数据爆炸式地增长,而海量数据的分析和处理一直是业界挖掘数据中蕴含价值的着力点。图模型作为现实世界中对象及其关联关系的抽象,较之于传统关系模型可以更有力地表达数据的属性和数据间的依赖关系。分布式数据处理系统比如Spark、MapReduce主要作用于传统数据分析,且以批处理计算为主,无法很好地适应图数据的迭代式计算过程。而基于图的分布式处理系统着眼于图数据模型,一般按图顶点以GAS(Gather-Apply-Scatter)或者超步进行迭代式计算,从而实现大规模图数据的分布式实时分析和处理。本文设计并实现了一个图数据的分布式图计算引擎,该引擎借鉴了 Pregel和PowerGraph等典型图计算系统的设计方案,着重讨论了数据组织和迭代方式对系统性能的影响,主要工作如下:(1)设计并实现了分布式图计算引擎的内存图元数据及数据管理结构。以现有的图分片算法为基础,设计并实现了以边为加载粒度的基于贪婪策略的平衡点切割策略,将图数据分布式地从图存储引擎加载到图计算引擎内存中;设计并实现基于内存的顶点主备存储结构,并提供在迭代式计算过程中对顶点数据、及其备份数据和邻接点、边数据进行快速访问和修改的接口;计算过程中对内存图元数据进行主备存储,避免数据因单点故障而导致无法访问的问题。(2)设计并实现了分布式图计算引擎的计算模型。设计了同步迭代式的图计算模型,以超步Super-Step和子步Sub-Step分解执行实体,将执行实体与计算机资源绑定并制定调度策略以达到优化迭代效率的目的。结合PowerGraph中GAS迭代模式和Pregel中BSP迭代模式的特性,设计了一种基于子步迭代且超步同步的计算模型;计算模型采用多线程编程实现,用户自定义GAS程序使用共享库作为插件进行加载,将业务逻辑与计算引擎逻辑解耦;设计并实现了一种增量缓存模型,通过提前传输增量的方式降低超步迭代时的网络传输开销。(3)对分布式图计算引擎进行完整性功能测试和性能测试,测试通过自动化脚本执行,测试结果表明系统在图切分算法上能够满足负载均衡和计算邻近性的需求,且基于GAS的迭代模型能够成功提高图数据的处理效率。