基于Hadoop的农产品市场交易的大数据分析

来源 :贵州财经大学 | 被引量 : 3次 | 上传用户:mengjie86
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据技术改变了人类的生活,为处理生活中的问题带来了极大的便利。我国农产品市场交易一直处于不稳定状态,尤其对于农产品的价格来说浮动比较大。在实践中,随着时间的增长数据量积累增多,农产品市场交易数据呈多样性,传统数据库对于庞大数据存储存在缺陷,导致部分数据丢失,数据统计不准确。大数据技术弥补了传统数据库存储的不足,能够处理海量的数据,不再仅限于单台机的操作,通过集群的方式扩大了可处理数据的数据量,大数据技术还解决了数据类型存在不同形式的问题。大数据技术还可以对数据进行实时采集、处理,处理的过程中是并行处理,并行处理优势在于能够提高数据处理的速度,海量的数据处理能够大大的缩减数据操作时间,实时的数据处理能够及时提供准确的数据分析,进行决策。大数据技术提供精准的预测分析,为农产品市场交易在贸易中赢得了竞争的关键。利用大数据技术的优势,本文运用大数据技术对数据进行了处理。本文大数据技术主要是基于Hadoop平台对农产品市场交易进行海量数据处理分析,Hadoop平台的核心是MapReduce和DHFS。在本文的数据存储过程中,HDFS对农产品市场交易价格数据进行了分布式存储;为了简化系统操作过程,在hadoop平台上增添了HBase模块,能够对数据进行随机、实时的读写操作,在数据的预测结果中运用HBase完成了数据结果存储操作;在数据处理中,MapReduce对数据进行了处理,通过map()和reduce()两个函数完成了数据处理;同时在Hadoop平台添加了Hive模块,在进行数据抽取时,Hive利用SQL查询简化了数据抽取的过程。为了能够对数据更为直观的分析,在Hadoop平台上加入了R语言,构成了Hadoop在农产品市场交易数据分析中完整的Hadoop+HBase+Hive+R语言开发平台,R语言使数据的建模过程更为简单,利用R语言的可视化特性,本文通过折线图对数据进行直观分析。同时,本文运用ARIMA模型和指数模型在搭建的平台上进行了模型分析,对ARIMA模型和指数模型进行了建模和模型预测,根据本文的抽样数据与预测数据编程计算出模型精度,通过精度分析以及数据的折线图分析验证了ARIMA模型对辣椒交易价格中长期预测为较好预测模型。通过模型的预测,可以运用在农产品市场交易大数据分析中。根据不同模型的预测特点,找出合适模型对农产品市场交易做出中长期或短期的预测,通过中长期或短期预测,做出合理的分析,对农产品的贸易以及政府调控农产品培育做出合理决策。
其他文献
通过现场实测防滑降噪沥青路面试验路段的汽车噪声,并与相邻试验路段密级配沥青路面的测量结果进行对比,分析结果表明,防滑降噪沥青路面具有较明显的降噪性能,但是在路面的后期使
经过近20年的发展,网络购物已经快要碰到营业额的天花板,电商巨头开始思考打通线上数据库和线下门店,希望和街头的零售店合作,一起来为电商贡献新业绩,这就是新零售产生的原
一、培训法治化、制度化以立法的形式确保教师在职培训制度的形成、完善与实施,使教师在职培训工作在具体操作中有法可依。是发达国家中小学教师在职培训的首要特征。法律既规
目的观察EMR治疗消化道无蒂及亚蒂息肉的临床疗效。方法选取本院2016年7月-2018年7月收治的消化道无蒂及亚蒂息肉患者82例作为样本,随机分组,对照组行常规电凝电切术治疗,观
无动力外骨骼助力机器人具有无能耗、成本低、使用便捷等优势,可广泛应用于工业制造、医疗康复等多个领域。系统阐述了无动力外骨骼助力机器人的定义与分类,介绍了助力原理;
玉米是吉林重要的经济粮食作物之一,可以说,当前国内一半以上的玉米都产自吉林.近些年,国内气候恶化,土壤环境改变,为病虫害肆虐创造条件,严重影响本地玉米的产量.为响应国内
针对绿色文明及公民的绿色教育进行研究。首先指出和分析绿色文明的内涵与当前公民绿色意识现状。在此基础上指出对公民进行绿色教育的具体策略。通过相关公民绿色教育有效策
关于歌曲情感的表现,依赖于声乐学习者先天的音乐感受能力、自身的文化底蕴以及歌唱技能技巧的支持。由于声乐作品本身的表现手段是词曲作家创作情感在谱面上的表现,如歌词与
目的研究血浆置换(PE)治疗血栓性血小板减少性紫癜(TTP)的疗效。方法对12例患者进行血浆置换治疗,并结合免疫抑制剂及抗血小板、改善微循环治疗。结果治疗总有效率为91.7%(11/12),1例
从绿色食品产业可持续发展角度出发,阐述了绿色食品市场开发与营销的现实意义,分析了当前在绿色食品市场开发与营销中存在的主要问题,提出了树立绿色食品市场开发与营销意识