在城市中存在很多时空数据,如网约车的轨迹数据、手机信令数据、道路交通流量数据等,这些数据往往体量巨大,它们在虚拟的数字世界构成了真实世界的映像,其中蕴含着大量的财富。然而,城市数据的出现不仅仅带来了机遇,也带来了对工业界的挑战,其中一大难点便是城市数据分析中出现的算力问题。城市大数据体量大、多模异构等特点,造成了极大的计算负荷。与此同时,摩尔定律已到末年,单核CPU性能难以保持持续上升的势头。因此,使用分布式计算、异构计算等技术加速城市大数据分析和进行应用的高性能部署具有重大的实际应用价值和理论研究价值。本文的研究目标,就是在开源工具的基础上,在城市大数据分析的场景下,通过设计分布式后端计算引擎,有效地调度包括CPU、GPU、存储、通信等硬件计算资源,以实现各类城市大数据挖掘任务在高性能服务器集群上稳定、高性能、易用地开发、运行和部署。本文的主要工作及创新点如下:1、对计算引擎所面向的任务进行需求分析。首先,本文将计算引擎所需要解决的计算任务分成两类:面向大规模数据的挖掘任务和高并发的交互式计算任务。本文分析了两类计算任务各自的特点,包括其计算流程、可能出现的算力瓶颈、对应的加速方案和计算架构等。2、对计算引擎各组件进行方案选择和架构设计。在上述分析的基础上,通过对各类开源工具和分布式框架的调研,本文在Docker技术、分布式资源管理和容器调度工具Kubernetes、分布式计算引擎Spark、分布式存储系统Hadoop等开源技术的基础上构建了一套完整的后端计算引擎,其功能包括大规模数据的分布式存储和管理、异构计算资源实时调度、高性能大规模数据分析、交互式计算支持等。3、选取案例在计算引擎上进行实际测试。本文中选取了两个城市规划与管理的实际应用作为两类任务的案例,在设计的计算引擎上进行分布式地部署和加速,以验证架构设计的正确性和高性能:对于大规模数据挖掘任务,测试了在1.5亿条LBS数据上进行驻留点检测的算法,与单机相比,分布式部署可以达到360倍的加速效果。对于高并发的业务部署场景,本文选取了一个基于Res Net的城市人流量预测应用,通过Kubernetes动态调度GPU,实现了该应用的高并发部署。进一步地,本文使用一种软件模拟的系统负荷承载测试方案,通过程序仿真用户行为达到测试集群承载能力的目的。实验结果显示9台服务器组成的集群可以容纳超过300名用户在系统上同时作业,本文也分析了GPU卡的数量、集群数量、通信情况对于整体性能的影响情况。