图处理作为一种典型的大数据应用,广泛应用于科学计算、社交网络和推荐系统等领域。为了高效地处理图数据,往往需要采用内存计算技术来避免耗时的读写操作。然而,由于传统的动态随机访问存储器（Dynamic Random Access Memory,DRAM）面临严重的容量可扩展性问题,极大地制约了数据规模不断增大的图处理应用的性能。新兴的非易失性内存（Non-volatile Memory,NVM）支持字节寻址,同时具有比DRAM更高的密度、更低的能耗和成本,有可能从根本上改变内存系统的结构。基于将两者的优势进行结合的异构内存系统构建图处理平台,成为一种新的大规模图数据处理方案。传统的图处理平台在异构内存系统上不能获得最优的性能,因为其忽略了内存的异构性。单机内存图处理平台如何更好地利用异构内存主要存在三个方面的挑战:首先是异构内存环境下图数据如何合理地放置和管理才能最小化高延迟NVM对图算法性能的影响;其次是在图算法执行过程中如何解决因为内存异构带来的负载不均衡问题;最后是异构内存系统通常采用NUMA（Non Uniform Memory Access）架构实现,图处理平台如何应对更加复杂的NUMA节点间访存不对称问题。为了解决以上问题,从静态数据管理、动态负载均衡和NUMA节点间通信三个角度进行了深入研究,主要工作如下:首先,提出了异构内存环境下图结构感知的数据管理机制。NVM相比于DRAM具有较高的延迟和较低的带宽,为了高效地利用大容量的异构内存,最关键的挑战是如何将数据合理地放置在DRAM和NVM上。基于NVM写延迟高于读延迟、顺序访问带宽高于随机访问带宽的特性,提出了图结构感知的数据放置策略。进一步实验发现在异构内存中处理大规模图数据时,大量的快表（Translate Lookaside Buffer,TLB）缺失造成了新的性能瓶颈。提出了大页技术和禁用NUMA自动迁移以减轻虚拟-物理地址转换和页面管理的开销。另外,通过图划分和任务分解减少处理器的空闲等待,通过数据结构感知的预取技术提高缓存命中率,进一步隐藏了高延迟NVM对图算法性能的影响。实验结果表明,相比于传统的图处理平台,采用图结构感知的数据管理机制可提高48%的算法性能。其次,提出了异构内存环境下依赖感知的图处理负载均衡机制。在异构内存系统中运行图算法会带来内存的负载不均衡,传统图处理平台使用的负载均衡技术在异构内存系统中不够有效。数据迁移与工作窃取机制相结合,可以进一步提高图处理的效率,但是不同子图中数据的交错访问严重影响数据迁移的有效性。因此,提出了通过降低子图间数据依赖进行数据迁移的负载均衡策略NVMGraph。首先,在图划分时将每个工作线程需要随机访问的数据合并到单个子图中,以减轻子图间的数据依赖。其次,在运行时通过算法指导的工作负载分析,从本轮迭代的结果中准确预测之后迭代中各个子图的工作负载,然后通过性能模型指导的数据迁移在两种内存中高效地迁移数据。实验结果表明,和现有的图处理平台相比,NVMGraph可以提高图算法40%的性能。最后,提出了异构内存环境下NUMA感知的图处理通信优化机制。DRAM和NVM之间的访存延迟差异,使得NUMA节点间的通信变得更加复杂。现有的图处理平台没有考虑NUMA节点间的内存异构性,不能获得最优的性能。因此,设计了异构内存环境下NUMA感知的图处理平台HNGraph,从减少高延迟远程NVM访问的数量和降低高延迟远程NVM访问的开销两方面优化了NUMA节点间的通信。首先,HNGraph利用度数感知的图划分策略使大部分随机访问的数据位于DRAM节点以减少高延迟NVM访问的数量。其次,对于仍然存在的远程NVM随机访问,HNGraph采用了混合的NUMA节点间通信机制来降低远程数据访问的开销。与传统的图处理平台相比,HNGraph在采用NUMA架构的异构内存系统中可以提高62%的算法性能。