论文部分内容阅读
针对广域网环境下分布式Web爬虫的Agent协同和Web划分两个核心问题进行深入研究，提出了基于顾问服务的分布式Web爬虫系统模型，给出了详细的系统设计方案及Agent协同算法框架，并通过推导证明了顾问服务参与Agent协同能够使分布式爬虫系统承受相对较小的网络负载。提出了分布式Web爬虫Web划分的概念，围绕Web划分单元选取及Web划分策略，对Web划分的分类和实现进行了详细的讨论，并通过实验对多种Web划分方法进行了对比和评价，验证了广域网系统相对于局域网系统的优势，并发现运营商互连因素对爬虫系统性