论文部分内容阅读
主题爬虫是主题搜索引擎的基础与核心，主题爬行策略的好坏直接影响搜索结果。为了搜索到更多相关的网页，通过利用模拟退火机制选择下一步要访问的链接，使那些蕴含“综合价值”高的链接在搜索初期有机会被选中，同时利用“隧道技术”扩大相关网页的搜索范围。计算链接价值时，综合考虑了链接所在页面内容的价值和链接提示文字的价值，根据它们对链接价值的影响程度不同，分别赋予它们不同的权值。实验证明，该方法对提高网页覆盖率和准确率都有很好的效果。