论文部分内容阅读
合成孔径雷达(SAR)图像变化检测在诸多领域都起到了重要作用,如自然灾害监测、城市建设和农业统计等,因此,SAR图像变化检测已成为遥感领域的重点研究方向之一。然而随着传感器技术的成熟和发展,遥感逐渐步入了大数据时代,SAR图像的尺寸和数量与日剧增,传统串行算法已无法有效地应对大规模SAR图像变化检测问题。Spark作为分布式大数据处理框架的代表,以其高效的特点受到广泛关注,本文分别将模糊局部信息C均值聚类算法(FLICM)和核模糊C均值聚类算法(KFCM)与Spark分布式框架相结合,并对后者整合了协处理器进行加速,提出了两种基于Spark框架的SAR图像变化检测方法,Spark可以充分利用集群的计算能力和存储能力,有效应对大规模SAR图像变化检测问题,而协处理器可以提升每个节点的计算力,有效提升变化检测的效率。1.提出了一种基于Spark-FLICM的SAR图像变化检测算法,隶属度求解部分在Map阶段完成,其中求解隶属度过程所需的邻域信息通过广播变量来实现,之后的聚类中心计算部分通过归约操作在Reduce阶段完成。在机器学习中,迭代算法可以容忍一些错误并通过调整算法状态最终收敛的思想指导下,我们提出了Spark-FLICM2算法,通过减少广播通信的次数,每轮迭代过程中进行多次的隶属度更新,从而提升算法的计算效率。实验结果表明相比于串行FLICM算法,本章提出的Spark-FLICM算法的检测正确率均与串行一致;在使用4个CPU核以上时,本章提出的Spark-FLICM算法可以取得一定的加速比,在数据增加和资源增加的情况下,具备一定的可扩展性。2.提出了一种基于协处理器加速Spark-KFCM的SAR图像变化检测算法,算法利用Spark框架来传递分布在各个节点的数据,使用JNI技术与OpenCL框架,将计算密集的任务卸载到协处理器上进行处理,计算结果返回Executor内存并被包装为RDD供后续处理。在对KFCM算法进行并行设计后,将计算量大的隶属度求解过程和聚类中心求解过程的部分规约计算卸载到协处理器上处理,之后在主处理器端通过规约操作计算聚类中心,完成聚类计算。本框架在同样规模的集群上可以提供更高的计算能力。实验结果表明相比于串行算法,本章提出的SparkCL-KFCM算法在变化检测中可以实现同样的检测正确率;在不同数据量和资源量的情况下,具备一定的可扩展性;相比于单一Spark框架实现的KFCM算法,不同CPU核时都有一定的加速比。