基于Hadoop/Hive的气象数据分布式处理研究

来源 :软件导刊 | 被引量 : 0次 | 上传用户:fengyes888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分布全球的气象传感器每隔一段时间就会收集大量的气象数据,历史气象数据更为庞大,如何存储和处理这些数据已成为一个难题。Hadoop的出现给人们提供了存储和分析大数据的一个利器,它利用HDFS分布式文件系统进行大数据存储,用户通过编写MapReduce程序完成大数据的分析处理。然而,对于很多用户而言,熟练掌握Java语言并编写MapReduce程序并不容易。鉴于此,利用Hive来存储和处理气象数据集。Hive是构建在Hadoop上的数据仓库框架,它支持SQL接口,可以让精通SQL技能的分析师对存放在HDFS中
其他文献
随着互联网的发展,不断有新的应用和概念诞生,其中物联网,云计算和大数据得到了研究者的重点关注,并引起广泛的研究热潮。
我国民族传统文化正面临着消亡的危机。旅游行业热潮的到来,带动了民族地区旅游文化产业的进步,这在一定程度上促进了民族传统文化的发展。本文对民族传统文化进行了简单论述
在现代文学中,无论是男性作家还是女性作家,都用丑化的叙述模式,书写了一群心理危机、人格缺失、行为变异的畸变女性形象,他们把这类女性置于社会、历史、文化等诸多矛盾和复杂关
全球化浪潮下,跨文化交际愈发频繁,英语的应用范围不断扩大,语用能力的重要性愈发显著,基于此,文章探讨了大学英语教学中对大学生语用能力的培养,对大学英语语用教学及语用规
目的通过调查分析2000名人员健康体检结果,提出健康干预对策,起到预防作用,并对制定企业单位职工的健康护理措施提供依据。方法选取5家体检机构,调查2014年01月~2015年12月企
孔子解读《周易》时将爻辞语篇作为始源域发挥其中的德义,爻辞语篇相对于作为始源域的六十四卦卦画系统是其目标域,因此爻辞语篇的两重角色使其成了一个两面并不互通的双面镜
<正> 药品的储存与养护,是药品经营过程中的重要组成部分,它对保证药品质量具有重要作用。影响药品质量的外界因素很多,如温度、湿度、日光、空气、时间、微生物、包装容器等
针对事故条件下兼顾船总体安全和反应堆安全的要求,应用运行安全分析仿真软件平台对船用核动力装置给水完全丧失事故进行了计算分析。结合实际运行情况,考虑了无人工干预、有
用挠度法计算预应力梁的残余预应力时,预应力梁的实际刚度是一个难以确定的参数,要测试刚度就必须借助于可直接测量的挠度来推算。测试的结果表明预应力梁的实际刚度总是小于