基于Hadoop的农业大数据处理系统研究

来源 :河南师范大学 | 被引量 : 0次 | 上传用户:xieqi_1314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
我国地域广阔、生态类型复杂多样、作物种类更是丰富繁多。因而,我国的农业数据也是种类多样、体量巨大。由于传统农业的局限性,各类农业数据一直没有被重视、充分的利用起来。随着农业信息化的推进和农业现代化水平的提高,各类农业数据开始受到人们的重视,发挥着越来越重要的作用,用于指导农业生产。随着物联网等技术在农业上大量使用,农业数据的数据量呈几何递增,传统的数据处理方式已不能满足农业数据的处理需求。农业数据已经逐渐满足大数据的基本特性,成为农业大数据。由于农业自身的特点使得农业大数据具有大量、多维、动态等特征。如何合理高效的应对农业大数据的发展,是一个非常重要的问题。大数据技术的飞速发展可以很好地解决农业大数据所面临的诸多难题。而最受关注的大数据处理平台,无疑是谷歌公司的Hadoop。Hadoop是一个开源的、可运行于大规模集群上的分布式计算平台,其实现了MapReduce计算模型,得到了广泛地应用并逐渐成为大数据的代名词。MapReduce是由Google公司最早提出的,是一种并行编程模型,可用于大规模数据集的并行运算,是Google的核心计算模型[1]。Map函数、Reduce函数是MapReduce模型的核心,它们都利用<key,value>的数据结构将将复杂的数据处理任务分布到各个计算机节点上,并利用分布式并行架构来处理海量的复杂数据。本文对大数据的特点进行分析,根据农业大数据的特点,对现有的农业大数据处理系统的优势和不足进行分析和改进,设计了基于Hadoop平台的农业大数据处理系统。本文对经典的数据挖掘进行了简要的介绍,并针对MapReduce架构对相应算法的并行化进行分析。将CART算法针对MapReduce架构进行并行化改进,并对该算法进行相应的优化。最后,将数据在系统中运行,验证该系统的可行性以及算法改进后具有更高的性能。
其他文献
森林城市是我国城市生态建设发展的重要方向,本文指出森林城市建设过程中存在部门协调困难、缺乏统一指导等问题,从而提出"多方融合"规划策略,从森林城市建设中4个重要方面—
<正>2008年7月18日《晶报》综艺版头条《黛玉变凤姐》着实吸引读者的眼球,因为新版电视剧《红楼梦》的演员安排一直是广大"红迷"们关注的热点,因而也成了各娱乐媒体追逐的焦
期刊
教育实习是师范院校具有综合性的教育、教学专业实践活动。本文从分析高师院校教育实习的现状入手,就如何有效地进行教育实习改革,提出针对性建议。
随着企业信息化的推进与发展,销售数据急聚增加,由于销售数据在企业决策中的重要作用,挖掘销售数据中的有用信息是亟待公司解决的问题。研究出能够在大数据环境下挖掘销售数
◆为什么要推进国家治理体系和治理能力的现代化?$$ 从大的方面讲,推进国家治理体系和治理能力的现代化,主要有以下几个原因。$$ 首先是中国特色社会主义现代化建设和政治
报纸
"大江东去,浪淘尽,千古风流人物",这不仅写出了长江的非凡气象,而且将自古以来这里出现过的许多威武雄壮的战争故事都概括进来了,表达了词人苏轼对古代英雄的向往。词中那洒
目的建立我国军人症状自评量表(symptom check list 90,SCL-90)2016版常模。方法采用SCL-90量表,按照随机分层整群抽样对我军陆军、海军、空军、火箭军和战略支援部队53 847
分析了我国国家森林城市的发生背景与发展历程,把我国国家森林城市的发展划分为起步探索、规范推进和蓬勃发展3个阶段,全面总结了不同阶段重要的与标志性的工作。
2010年4月16日我国正式推出沪深300股指期货。在沪深300股指期货刚推出时,我国股市经历了大幅度的波动,2015年我国股市剧烈震荡时也有观点认为股指期货是引起股票市场剧烈波
近年来,大数据及大数据技术的广泛应用引领了一场全球政治、经济、文化、社会的变革。数据的商业价值和管理价值正在得到前所未有的重视与开发。大数据与新闻业相结合催生出