随着互联网上的信息量越来越大,传统搜索引擎的局限性如覆盖率低、时效性差、结果不准确等已日趋明显。针对以上情况,另一种搜索引擎悄然出现,它可以在一定范围内取得比传统搜索引擎更令人满意的结果,这就是垂直搜索引擎。主题爬虫是垂直搜索引擎的核心部分。主题爬虫对网络带宽的利用率、硬件资源的使用以及搜索效率都有重要的影响,因此对主题爬虫的研究具有重要的意义。　　 本文首先介绍爬虫的基本原理,接着讨论主题爬虫的关键技术如中文分词,主题判断的方法以及主题向量的建立等,重点介绍了主题爬虫的爬行策略。本文详细介绍了每类爬行策略的代表算法,并对这些算法的优缺点进行了分析,并在此基础上提出了算法改进方法。　　 本文对传统向量空间模型特征词的权值计算方法进行改进:对文本中不同位置的特征词赋予不同的权重;对Hits算法中不合理的链接互相加强关系进行了改进:在扩展根集时,如果一个网站B上有n个其它网页指向另外一个网站上的某个网页A时,则将这些链接的权重设为1/n,其它链接的权重依然设为1;针对Shark-Search算法产生“近视”和Hits算法产生“主题漂移”的不足,将这两种算法的优点结合起来形成两种新的主题爬虫算法:S-Hits算法和MT-Hits算法,并实现了这两种爬虫算法。实验表明新的算法效果较好。