随着Internet和WWW (World Wide Web)的迅速发展,Web信息呈现指数级的增长,用户在这个庞大的信息库中查找需要的信息越来越力不从心。针对这样的问题,在Web信息检索领域出现了针对主题的聚焦爬虫技术。聚焦爬虫是主题搜索的基础和核心,并且随着逐步的发展和技术应用的深化,目前逐渐的应用在个性化信息采集、链接有效性分析、网站结构分析、用户浏览兴趣挖掘等各种实践和研究中。基于聚焦爬虫的主题Web信息采集研究具有广泛的现实意义。研究了搜索引擎系统和网络爬虫的基本原理、工作流程,着重研究了聚焦爬虫的特点、页面主题分析、基于链接结构和内容的搜索策略算法等。在关键技术的实现中,对已采集页面进行主题相关性判定,提取主题特征,通过基于向量空间模型的网页主题相关度判定算法计算页面的主题相关度,提高了主题信息采集的准确率；对待抓取URL进行主题相关性预测,利用主题页面分布特性和扩展元数据进行URL的主题相关度计算,考虑了主题页面的tunnel特性,提高了主题信息采集的召回率；引入链接结构分析算法PageRank,提出了综合相关度和重要度的URL综合价值计算方法TPR (Topical PageRank)。最后通过实验测试了信息采集的技术指标,验证了技术改进的有效性。