基于Heritrix的网络主题爬虫算法研究与应用——以粮食网站交易信息为例

来源 :新建设:现代物业上旬刊 | 被引量 : 0次 | 上传用户:loopdd
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
首先对搜索引擎中的主题网络爬虫进行介绍,以Java开源网络爬虫Heritrix为基础。阐述其工作原理及架构。在此基础上通过Internet粮食交易信息网站与爬虫的自动采集技术相结合展开对该领域主题网络爬虫开发的研究。
其他文献
本文主要针对桥梁施工技术及裂缝成因的相关问题进行阐述。
文章探讨了学术界众说纷纭的独立董事制度问题.从阐述独立董事制度的基本理论出发, 在肯定其积极作用一面的同时, 指出其存在的固有缺陷;就我国引进独立董事制度问题进行思考
钱伟长教授从事高等教育半个多世纪,积累了大量有关高等教育的思想和经验,这集中体现在他的一系列文章和讲话中,而重视人的全面发展是贯穿他的高等教育思想的一条主线.
《中华人民共和国政府采购法》(以下简称采购法)2003年1月1日起开始实施,现行政府采购管理模式将停止运行,一个全新的运作规程将把政府采购活动纳入法制化轨道。这不仅是促进我
“七七事变”以后,中国共产党代表最广大人民的根本利益和要求,以真诚的团结和坚决的抗战赢得了海外华侨的理解和信赖,并促成了海外华侨对国共两党政治态度的转换。海外华侨从“
在人类社会整体步入视觉文化和多媒体时代的当下,导演迈克尔·贝俨然已经成为美国电影的领军人物,其作品中表现出来的奇观化倾向更是令人咂舌。迈克尔导演非常擅长对英雄
1.集中采购与分散采购。这是就政府采购的模式选择而言,日前国际上的政府采购模式有三种:集中采购、分散采购,适度集中采购。集中采购是由一国财政部门或指定的政府部门负责本级
随着人们的安全意识日益提高,对不良地质灾害的治理也越发重视,本文通过一不稳定斜坡体的勘察和治理,简明介绍了该斜坡体的工程地质勘察、潜在滑动面稳定分析及工程治理,为类
随着时代的进步和社会经济的发展,我国交通事业发展迅速,市政桥梁工程数量越来越多;本文以某车站项目大跨度框架桥涵顶进施工为例,分析了分体顶进桥涵的施工方法,希望可以提供一些