雾霾与气象要素数据流间的关联性挖掘及应用研究

来源 :长春工业大学 | 被引量 : 0次 | 上传用户:mrcena
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
雾霾已经在气候、环境、健康、经济等方面造成显著的负面影响。雾霾的形成和演化有它自身的机理和规律,不同的地区,城市雾霾的形成原因、表现形式都不相同,如今对雾霾的科学认识仍不系统、完整,究其原因是没有对雾霾进行透彻地感知、认知和充分地分析。雾霾的演化与气象要素间有着密切的关系,由于气象部门达到了较高的信息化程度,积累了大量气象相关的数据,因此,利用数据挖掘的关联性理论方法可从中发现雾霾与气象要素间的规律,从而提高雾霾预报预测的准确率,指导人们的生产生活。本文首先对数据挖掘方法在国内外的研究现状进行了汇总,并对数据挖掘在气象分析方面的应用进行深入研究,详细分析了雾霾和气象的相关知识及国内外的相关研究现状。其次,对关联规则挖掘的经典算法Apriori的相关理论、实现流程及优缺点进行了分析;对云计算的相关理论及目前较流行的大数据处理平台Spark进行了概述;对雾霾的相关知识进行了介绍,并且分析了气象要素对雾霾的影响。在此基础上,针对大数据提出了一种基于Spark的关联规则挖掘算法AMRDD(Apriori Matrix Resilient Distributed Datasets),该算法将频繁项集用矩阵表示,基于HDFS存储,利用局部剪枝和全局剪枝原理,缩减了候选频繁项集的数量,利用Spark基于内存的计算,提高了时间效率。最后,将该算法应用于雾霾与气象要素间的相关性研究。构建雾霾与气象要素数据流间的关联性分析平台测试本文提出的AMRDD算法的性能及在雾霾研究方面的应用,使用3台实体机组成的局域网搭建了Spark平台,实现AMRDD算法。并分别用2013年10月到2015年10月的北京、长春、石家庄三个城市的气象资料数据集作为测试数据。实验结果表明,与传统的方法得出的结论是一致的,表明了该算法适用于雾霾与气象要素相关性方面的研究。同时,用随机生成的大数据集对算法进行了实验,AMRDD算法与传统的Apriori算法和在Hadoop上实现的Apriori算法相比,在大数据分析方面该算法时间效率明显提高。
其他文献
CO2是最重要的温室气体,CO2捕集与封存技术(CCS)中需要对CO2的物性进行准确了解。同时,CO2在工业领域也有着良好的应用前景,工程设计及系统优化也需以CO2精确的热物性为基础
目的观察头孢唑啉钠与妥布霉素联合应用对细菌性角膜溃疡的治疗效果.方法将78例细菌性角膜溃疡的患者随机分为两组,治疗组采用5%头孢唑啉钠滴眼液与0.8%妥布霉素滴眼液交替点
【研究背景和意义】水稻是世界上最重要的农作物之一,养育着世界近50%的人口。中国是世界最大的水稻生产和消费国,全国60%以上的人口以大米为主食,每年的总产量达2000亿公斤左右。
由于城市的快速发展和人们生活质量的不断改善,来自工业废水和自来水处理过程中的生活污泥的产量也在剧烈提升。据统计,到2010年底,我国城镇处理废水而产生的污泥量就达3000
微生物几丁质酶在生物防治中有着重要的应用价值,发酵条件的优化是大量获取几丁质酶的重要前提;试验利用单因素优化法研究了影响地衣芽孢杆菌JDZ-3产生几丁质酶的培养基的初
随着我国经济水平的不断提高,农村居民的生活状况也得到了较大的改善。目前我国农村经济形势十分明朗,但"三农"却面临着巨大的挑战。"三农"问题对于农村经济的更好发展影响很大,