云计算平台下遥感图像分类算法的并行化技术研究

来源 :南京理工大学 | 被引量 : 0次 | 上传用户:nikaixinma
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
高光谱遥感图像中包含着丰富的空间信息和光谱信息,使其在地物识别和分类方面较其他遥感图像更具优势,因此它在军事侦查、资源勘探和环境监测等领域广泛应用。高光谱遥感图像分类是高光谱图像处理的重要内容之一,由于高光谱遥感图像具有高维、波段多、数据量大的特点,现有串行分类算法计算复杂度较高,算法的实时性并不好,同时随着遥感器分辨率的不断提升,高光谱遥感图像数据量呈几何式增长,现有的单机计算平台难以处理产生的海量高光谱遥感图像数据。云计算技术具备分布式存储和分布式计算的特点,能够有效解决高光谱遥感图像分类的单机瓶颈问题。云计算平台下任务调度算法对任务的执行性能有着非常重要的影响,合适的调度策略可以提高任务的执行速度。因此本文对云计算平台下基于空间相关性正则化稀疏表示的高光谱遥感图像分类方法SCSRC的并行化和任务调度展开了深入研究,主要工作有:(1)常规遥感图像的传统分类算法并不能满足大数据量的高光谱遥感图像的分类需求,因此有学者提出了基于空间相关性正则化的稀疏表示分类方法SCSRC,这种分类方法不仅利用了高光谱遥感图像的光谱信息,而且添加了图像空间相邻数据之间的信息,取得了较好的分类效果。本文首先研究并在单机上实现了 SCSRC方法,并通过实验分析了该方法的时间性能,为后续云计算平台下的并行化研究提供对比依据。(2)由于SCSRC算法的计算复杂度较高,并且还受到单机尺度的限制,因此在分析SCSRC算法性能瓶颈的基础上,分别在Hadoop和Spark平台下设计了 SCSRC的并行化方法MR_SCSRC和SK_SCSRC。在MR_SCSRC算法中首先设计了基于外积法实现矩阵相乘的MapReduce方法,然后从降低Map阶段IO次数、合并计算逻辑和实现本地化规约三个方面对算法进行了优化。鉴于在Hadoop的基础上发展而来的Spark更适用于迭代计算,参考MR_SCSRC的实现思路,进一步设计了基于Spark RDD编程模型的SK__SCSRC方法。最后通过实验给出了 SK_SCSRC算法的加速比和扩展比,并将MR_SCSRC和SK_SCSRC进行了对比。(3)Hadoop现有的任务调度算法只是考虑了数据本地性,忽视了集群的负载均衡性,为此基于遗传算法设计实现了兼顾作业完成时间和集群负载均衡性的任务调度器StaticGAtaskScheduler,详细给出了该调度器在Hadoop平台下的加载调度验证,最后通过调度MR_SCSRC算法验证此调度器下算法的性能提升。
其他文献
<正>地铁组成城市现代交通体系的重要一环,其营运的效果好与坏直接关系到城市居民的日常生活以及城市的正常运转。地铁票制、票价体系的管理是地铁运营和管理的重要一环。目
物理名师职业倦怠的原因之一就是缺乏教学主张。教学主张是物理名师的专业智慧的体现。指出从教学主张内涵、特征入手,对物理名师教学主张凝练形成过程与凝练策略给予具体方
互联网已经深深的融入了人们的生活之中,人们的日常行为时刻产生着有用的数据,对这些数据的快速处理并获得有用的知识变得越来越重要。现在数据挖掘已经走向了云计算时代,云
<正>历经清初顺治、康熙的过渡,清代雍正时期(1722~1735年),社会稳定,经济繁荣,中外文化交流频繁,瓷器贸易领域扩大,广彩瓷进入快速生产时期,并成为外销瓷重要品种之一。广彩
云计算平台是一个复杂的大型网络系统,它的出现改变了现有的网络交付模式。云计算平台的基础是虚拟化,通过虚拟化技术将云计算平台的物理资源虚拟化成资源池,再通过资源调度
名师教学主张是名师个体在长期的教育教学实践中逐步生成的,对教育教学独特的、稳定的、系统的认知和理解,其内含于名师自身的教学观念和教学行动中,是名师个体教学经验的升
自1982年Mashll从胃炎患者的胃活检标本中分离出幽门螺杆菌(Helicobacter Pylori以下简称HP)以来,现已证实HP与多种消化疾病,如胃炎、消化性溃疡、非溃疡性消化不良、胃癌、
基于工程中常用的电容测试原理,给出了一般的舰船设备电源线对地电容简化模型,分析了对地电容测试方法对测试结果的影响,在此基础上提出相间短接测试和多次短接测试的方法,并
介绍了硅烷改性聚醚密封剂的发展、制备及固化机理及应用,并指出硅烷改性聚醚密封剂是绿色环保产品,大力发展硅烷改性聚醚密封剂的生产技术对我国的工业发展具有深远的作用。