论文部分内容阅读
主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构，分析了Heritrix的工作流程，在Heritrix框架的基础上进行扩展和优化。通过一个实例，实现了对京东网图书信息的抓取，为建立面向图书信息的垂直搜索引擎提供了网页信息资源。
基于Heritrix的网络爬虫研究与应用
【摘 要】
：
主要介绍了主题搜索引擎、网络爬虫的基本概念和Heritrix系统的体系结构，分析了Heritrix的工作流程，在Heritrix框架的基础上进行扩展和优化。通过一个实例，实现了对京东网图书信
【机 构】
：
北方工业大学
【出 处】
：
软件导刊
【发表日期】
：
2013年5期
【基金项目】
：
基金项目：北京市教委科技发展计划项目（KM201310009001）,国家科技支撑项目（2012BAH04F03）
其他文献
6月11日，全国工业系统节能减排工作电视电话会议召开。工业和信息化部部长李毅中结合当前工业系统节能减排形势和任务，就进一步贯彻落实国务院节能减排工作的总体部署，加快推进
近日，国家电网所属新疆公司正式出台意见，计划2010至2015年投资120亿元加快南疆三地州电网建设和无电地区通电工程步伐，为三地州经济社会跨越式发展提供可靠、经济、清洁的供电
在2010年《中国招标》理事会年会上,中国机电设备招标中心副主任白会宜就招标中心近期的工作情况向与会代表做了介绍。
6月中央本级收入3913．66亿元6月份，全国财政收入7879．4亿元，比去年同月增加1011．93亿元，增长14．7％。其中，中央本级收入3913．66亿元，增长12．2％；地方本级收入3965．74亿元，增长17．3％。6月份全国财
工业和信息化部近日发布消息称，目前我国城市规划建设的轨道交通网络总里程已达5000公里，城市轨道交通总投资估算将超过8000亿元，资金投入规模仅次于铁路和高速公路。内地正建设
江苏省苏州市全年计划完成交通基础设施投资97亿元，全力构建综合交通运输体系。交通基础设施投资包括六大方面：一是年内建成锡张高速公路，开建太仓港疏港高速公路，力争开建张家港
北京市政府近日表示，地铁1号线车辆更新和信号系统改造，地铁2号线、5号线增购车辆和车辆段扩建，1号线、2号线、13号线和八通线加装站台安全门等项目，正在开展《可研报告》等前期
移动微型课程顺应了现代社会发展的需求,正日益成为一种备受普通大众接受和欢迎的学习方式。学习资源的有效开发是影响移动微型课程发展的重要因素之一。依据移动微型课程资
《Web技术应用》课程是计算机应用专业的核心课程，该课程依据企业实际需求和学生就业岗位而设置，重在培养学生运用JSP技术设计开发Web应用系统的动手能力。在分析课程定位与目
高校计算机专业课《操作系统》课程教学概念抽象难懂,对采用启发式教学法进行了研究,从课堂教学和实验教学两方面进行教学探索,探讨了启发式教学对激发学生的学习兴趣、培养