基于Spark的并行K-means气象数据挖掘研究

来源 :信息技术 | 被引量 : 0次 | 上传用户:ipgoalusb
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着气象监测水平的不断提高,气象数据在短时间内可大量收集,充分从海量的气象数据中提取有价值的信息,是气象研究的关键所在。气象数据资源极其丰富,增长迅速,需要大量的科学计算,传统计算在大规模数据处理中需较长时间,无法满足数据即时转化的需求,大数据平台并行化处理可有效解决此问题。文中提出并行K-means算法对气候区进行划分方法,应用Spark平台进行处理,能快速有效地分析数据并从中发现有用信息,对气象领域研究具有重要的现实意义。
其他文献
近日,国际仲裁法庭针对芬兰TVO电力公司与阿海珐.西门子联合体(Areva.Siemens)有关奥尔基洛托3号机组的建设纠纷做出部分裁决,要求前者向后者支付总额为1.25亿欧元(1.55亿美元)的欠款
清季社会转型期,民间传统儒家学派太谷学派领袖周太谷、张积中等人在坚持理学客观唯心认识论的基础上,结合道教哲学因素,进行发挥与创造,构建了独特的太谷学派客观唯心认识论
本专栏中的代码示例使用Visual Studio 2005的Beta 1 Refresh版本和.NET Framework 2.0编写并测试通过。往这些产品的最终版本交付时可能需要更改本示例代码。
根据人类视觉系统的频率掩蔽特性,提出了一种抗几何攻击的水印自适应嵌入方案。首先对宿主图像进行归一化并确定感兴趣区,然后对感兴趣区实施Contourlet变换,选取Contourlet
【世界核新闻网站2012年12月13日报道】英国核监管机构已完成了对欧洲压水堆(EPR)设计的通用设计评估(GDA)程序,表示该设计符合有关安全、安保和环境影响的监管要求,因此正式批准采
莱西市自1988年开始利用贴息贷款发展节水灌溉,至1991年已建成固定、半固定式喷灌3.76万亩,低压管道灌溉12万亩。节水灌溉面积已占水浇地面积的24.3%。这条路是怎样走过来的呢
亚美尼亚能源与自然资源部长耶尔万德·扎克哈尔彦近日表示,为了缩短停堆时间,梅察莫尔2号机组的延寿工作将分阶段实施。在升级改造期间,该机组将总计停堆6~7个月,包括20
20世纪初期,曾痴迷西学的梁启超复归传统开始了管学研究。他考订《管子》真伪及思想流派,以期重新定位不同于商、韩法治的政治大家。梁氏以近代视角和国际主义眼光研究管学,