论文部分内容阅读
随着物联网、遥感、地理信息、大数据、云计算等新技术和手段在森林火灾动态监测方面的广泛应用,多源、异构、高维及海量的监测数据呈爆炸式增长。传统的监测方法在过去很长一段时间发挥了重要的作用,但是预测不够精确、监控信息滞后、耗费的人力物力庞大。面对大数据带来的前所未有的挑战,必须借助新的技术手段,更高效更精确的进行海量数据分析、理解和提取有价值的信息,以为用户提供准确、及时、直观可视的森林火灾监测信息。同时,随着森林火灾动态监测大数据平台所涉及到的数据类型和数据维度的增加,可视化需求分析也更加迫切。 本文主要研究工作和内容如下: (1)研究了Hadoop,Spark大数据框架的结构和工作原理;森林火灾动态监测大数据平台涉及的不同类型数据的可视化特点以及它们的常用可视化方法;根据数据可视化任务,对森林火灾动态监测中所涉及到的数据进行了可视化分类。 (2)通过对Hadoop、Spark等大数据框架以及国内外在处理各种异构非同源大数据所用方法的研究,设计并且实现了包含对多源异构大数据进行联合的数据联合模块、对海量数据进行大数据分析处理的引擎模块、对需求进行可视化模块的混合大数据分析系统。最后,利用林火火点检测实验,验证了该系统的可行性及有效性。 (3)针对森林火灾动态监测中,在遥感、传感、地理信息方面产生的高维数据可视化难度大的问题,提出了一种基于数据分组的多维数据聚簇可视化方法;并且通过遥感modis多维波段数据各波段相关性的可视化实验,验证了该方法的可行性和有效性,为分析森林火灾中多维数据各维度属性的分布关系提供了一种高效的可视化分析方法。