随着大数据时代的到来,许多优化问题的复杂性和数据规模都在不断增长,一方面造成了巨大的搜索空间,使算法容易陷入局部最优;另一方面带来了沉重的计算负担,导致大量耗时,这使传统的进化算法面临严峻的挑战。入侵肿瘤生长优化算法(ITGO)是本实验室提出的一种新的进化算法,已经被证明具有优秀的求解能力和现实应用价值,但由于单机版ITGO算法缺乏扩展性,在求解一些大规模优化问题时难以在合理的时间内求得最优解。面向云计算的分布式计算由于具有灵活性、易扩展、方便处理大规模数据等优势而被广泛应用,进化算法可以通过分布式计算框架来迁移拓展到云计算平台上,实现并行优化需求。因此,本文将结合ITGO算法与面向云计算的Spark框架,设计实现一种具有良好扩展性与求解能力的分布式入侵肿瘤生长优化算法Spark-ITGO,使其可以应用于求解大规模优化问题。本文结合分岛模型和Spark平台的特点,设计了一种基于弹性分布式数据集(RDD)及中心广播机制的Spark分岛框架,来对ITGO进行多种群并行优化,使单机版ITGO能够扩展到多节点多核心并行运行,从而加速整个种群的进化过程。该框架具有良好的通用性和扩展性,不需要对原始的进化算法作任何修改,易于拓展到大多数进化算法的并行化实现。本文结合单机版ITGO算法的特点,设计了一种多岛平衡最优迁移策略在多个种群之间进行个体迁移,实现不同种群间的信息交流。该迁移策略兼顾了种群多样性的引入和迁移个体的质量,同时保持各个岛屿迁入的个体整体质量均衡,能够有效地增加种群的多样性,从而避免算法陷入局部最优,促进全局最优解的搜索,并加速整个收敛过程。本文将Spark-ITGO应用于解决生物医学数据的聚类、云数据中心的容器调度和关联基因的上位性检测等具体应用问题,通过根据具体的应用场景对Spark-ITGO进行相应的改进,包括离散化解空间、增加实际约束条件等来进一步提升Spark-ITGO求解具体应用问题的效果,从而验证Spark-ITGO求解实际优化问题的能力。通过在多节点集群上对Spark-ITGO进行大量的基准测试、扩展性测试以及实际应用实验,并和ITGO及其它优化算法进行对比,结果表明Spark-ITGO具有良好的扩展性,其求解能力较ITGO有进一步的提升,并且可以有效地应用到实际优化问题中。