基于Hadoop平台的农产品价格数据爬取和存储系统的研究

来源 :计算机应用与软件 | 被引量 : 6次 | 上传用户：clgg1976

【摘要】

：

目前许多大型农贸市场和农业信息商务平台都在实时发布每天各地区不同农产品的价格数据。针对数据更新快、数据量大、数据形式多样,使数据的爬取和存储以及后续的分析工作变得困难,提出基于Hadoop的农产品价格爬取及存储系统。利用HttpClient框架结合线程池通过多线程爬取,爬取结束后执行完整性检查,过滤出信息不完整的网页,进行二次爬取直到信息完整。对爬取到的网页使用正则表达式进行解析和清洗,提取有用的

【作者】

：

杨晓东郜鲁涛杨林楠刘建阳

【机构】

：

云南农业大学基础与信息工程学院,云南省信息技术发展中心

【出处】

：

计算机应用与软件

【发表日期】

：

2017年03期

【关键词】

：

分布式系统爬虫 HADOOP HDFS 正则表达式 Distributed system Crawler Hadoop HDFS Regular expres

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

云到端奠定业务变革基石英特尔加速行业数字化创新——2016英特尔中国行业峰会在珠海召开

2016年10月21日,2016英特尔中国行业峰会在珠海召开。来自金融、能源、医疗、交通、零售、教育等行业的专家、企业高管、英特尔业务负责人以及合作伙伴参加了大会。峰会上,英

期刊

业务变革数字化转型技术创新业务负责人新兴技术经济发展科大讯飞副总裁机器学习发展趋势

浅谈信息技术与低段语文课堂教学的整合

摘要：借助信息技术中的数据、文字、图像、动画、声音等有机集成，使之应用于语文课堂，能够帮助学生通过各种媒体获取丰富多彩的信息，使抽象变形象，创造了一种生动活泼的教学环境，这对培养他们的阅读和写作能力也是有帮助的。本文就如何合理实现信息技术和语文教学的整合简要阐述如下。　　关键词：小学语文；信息技术；整合　　《基础教育课程改革纲要（试行）》明确指出：“大力推进信息技术在教学过程中的普遍应用，促进信息

期刊

小学语文信息技术整合

一种Symmetric NAT穿透的新方法

NAT(Network Address Translator)不仅解决了IP地址短缺的问题,而且也使内网主机避免了来自网络外部的攻击。但对于P2P应用来说,需要建立端到端的连接,所以说如何穿透NAT成为了P2P技术中的一个关键。通过对当前NAT穿透技术的研究,发现依靠TURN(Traversal Using Relay NAT)来实现对Symmetric NAT穿透往往存在服务器负担重、延时、丢包

期刊

SYMMETRICNATTURNP2PNAT穿透Symmetrical NAT TURN P2P NAT traversal

如何构建有效的中考语文复习课堂

摘要：中考复习是初中语文教学活动的重要组成部分，也是教师们关注的重点。但是中考复习课堂上却不同程度地存在着种种缺憾严重影响着复习效果。本文在分析缺憾的基础上，就如何构建有效的中考语文复习课堂，阐述了“钻研考情，树立正确理念”“研究学情，力争因材施教”“集体备课，提高备考质量”“强化训练，注重技能点拨”等优化对策。　　关键词：复习；有效；对策　　在语文中考復习中，不少教师在备课时习惯性地立足于方便

期刊

复习有效对策

初中数学合作学习教学策略探究

摘要：随着素质教育理念的不断深入，教育教学方面越来越受到人们关注和重视，且要求教师积极将“自主、合作、探究”应用到教学实践中去，以此实现教学的高效性和实质性，发挥出合作教学方法的最大化价值和作用。但由于我国长期以来受应试教育的影响，再加上教师对数学小组合作学习缺乏充分的认识，且实行小组合作学习的形式单一化、简单化，由此导致了数学教学质量和效率逐渐呈现出下降趋势，学生也无法真正挖掘知识的本质并掌握

期刊

合作学习初中数学提高效率

凤眼莲水处理池的污染去除雏型算式

尽管凤眼莲水处理池（WHTS）在30年来已被广泛研究，大部份学者从实验室试验，研究各项影响植物生长之参数、建立养份去除模型、拟定雏型算式；但是在实际运行中影响WHTS处理效率的因素

期刊

凤眼莲水处理池养份去除率雏型算式water hyacinth treatment system empirical formula nutrient

中学生良好习惯及养成方法途径的研究与督导

摘要：近几年我国社会发展中，关于中学生良好习惯的养成越发的受到社会广泛的关注以及重视。经过国内教师与教育研究者的努力，关于中学生良好习惯养成方面的研究已经逐渐成熟。本文笔者从自身的经验出发，去分析关于中学生良好习惯及养成的方法途径的研究，并提出一些建设性的意见。　　关键词：中学生；良好习惯；养成方法；研究；督导　　通过对我国教育学家对中学生良好习惯养成的分析中可以看出，在中学生良好习惯养成的过程

期刊

中学生良好习惯养成方法研究督导

基于Hadoop平台的农产品价格数据爬取和存储系统的研究

与本文相关的学术论文