论文部分内容阅读
在网络文字、图像视频、音频数量日益增长的网络世界中，网络爬虫爬取结果变得越来越差，主要表现在爬取网页的精确率低、召回率低和重复率高等方面。为解决这些问题，结合市场匹配基本原理和网络爬虫的特点，提出一种基于市场匹配算法的多Agent智能爬虫系统。基于市场匹配算法，设计了多Agent智能爬虫系统，以雅虎一级目录12个主题为测试数据对网络爬虫爬取网页的精确率、召回率和重复率进行了分析。结果表明，与未使用市场匹配算法的系统相比较，基于市场匹配算法的多Agent智能爬虫系统的精确率提高了9％、召回率提高了8％、重复