论文部分内容阅读
主题爬虫是垂直搜索引擎的核心组成部分，它为面向主题的用户查询准备数据资源；提出了一种基于HMM的主题爬虫方法，方法不仅分析网页内容，而且还考虑网页的上下文链接结构，首先将当前网页的聚类结果作为观察状态、将当前网页到目标网页的链接距离作为隐含状态，然后通过HMM模型学习用户的主题浏览模式并利用它采集更多的主题网页；实验结果表明：方法能采集大量与指定主题相关的高质量网页，主题爬行效率优于Best-First主题爬虫。