高性能网络爬虫系统的设计与实现

来源 :通讯世界 | 被引量 : 0次 | 上传用户:xiaomxc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的迅速发展,网络承载着大量的信息,但在这些信息里如何有效的提取并利用它们成为技术发展的关键点。因为用户在使用互联网的时候经常有不同的检索要求,但是检索引擎所返回的结果中往往含有许多用户不关心的网页及信息,所以定向抓取相关网页的爬虫系统应运而生。但是现在网络上的主流爬虫系统有的配置复杂,用户难以上手如Heritrix,或有的只能爬取特定字段,限于个别浏览器使用。所以为了优化爬虫系统,本文提出了一套高性能的定向网络爬虫系统,意在提高爬取数据的效率和准确度,并在初步实验中取得了较好成果。
其他文献
生活在新疆于田县这里雅布依乡的克里雅人世代居住在沙漠腹地,关于克里雅人的神秘族源传说、独有的沙漠文明、壮丽的大漠风光使达里雅布依成为极具开发潜力的旅游胜地.文章运
目的分析肝功能六项检测在甲状腺功能亢进诊断中的应用。方法选取140例初诊为甲状腺功能亢进的患者作为观察组,另取140例常规体检健康者作为对照组。两组受检者均接受肝功能
实现了面向宇航应用的高可靠SoC异常处理系统软硬件设计.为提高可靠性,将处理器及异常处理系统寄存器进行冗余设计,对SoC片上SRAM及各外设存储模块引入EDAC检错/纠错(纠一检
叙述了重质碳酸钙 (GCC ,简称重钙 )在介质搅拌磨中的表面改性过程及改性重钙的应用研究。应用两种表面改性剂进行了重钙表面性质研究 ,并采用了比表面积测定、接触角测定以
<正> 前两讲中我们从不同的角度探讨了田径运动损伤的预防问题,我们一再强调:“预防运动损伤其最高境界是在训练过程中不发生损伤,其次是不发生再损伤”,但在实际训练中运动
大学校园人居环境是人类社会中某类广义的聚落环境。从聚落环境综合层面分析大学校园多元群构的空间模式、资源协调的综合发展模式、互动共生的经济文化发展模式这3种校园集
在对短纤维增强橡胶基密封复合材料横向拉伸受力分析的基础上,建立了材料横向拉伸强度的预测模型,讨论了材料横向拉伸强度随纤维长径比、体积含量以及温度变化的规律。结果表