论文部分内容阅读
单机WebSpider的数据采集速度较慢，采用MPI技术或直接用Java开发分布式WebSpider代价较高。该文利用ProActive中间件提供的主动对象技术、网络并行计算技术、自动部署机制设计实现了P-Spider分布式并行WebSpider。实验结果表明，该p-Spider采集速率是单机多线程WebSpider的2．2倍。