互联网中信息过载对人们从网络中获取感兴趣的内容形成了巨大挑战,传统搜索引擎在一定程度上能满足人们对网络内容的检索需求,但也存在信息驳杂、检索结果不相关等问题。为此人们研发了垂直搜索引擎,满足了用户对特定领域更为精细的检索需求。主题爬虫是垂直搜索引擎的核心组成部分,为垂直搜索引擎采集特定领域的网络数据,本文的主要研究内容即为主题爬虫。主题爬虫通过预定义的主题对网页进行爬取,在爬取过程中过滤与主题无关的网页,采用特定的搜索策略预测控制网页爬取的顺序与路线,以达到在减少无关网页访问的基础上爬取更多主题相关网页的目的。Shark-Search算法是一种基于网页内容元素的启发式主题爬虫算法,因其实现简单、爬取效率高等优点被广泛运用。然而Shark-Search算法也存在主题判别不准确,爬取过程中出现“近视问题”和“隧道问题”等不足。本文对主题爬虫的原理以及实现细节进行了全方位的介绍,并且围绕主题判别以及爬虫搜索策略两个方面对Shark-Search进行改进,以提高其爬取性能。主要工作有:1.针对向量空间模型仅使用关键词匹配计算相关度而忽视词语语义信息的问题,提出一种新的主题相关度计算模型:通过word2vec以及LDA构建主题词向量,对词语进行语义扩充;结合网页半结构化特征改进TF-IDF算法并提取网页关键词,并将网页与主题使用对应关键词主题词向量的加权平均表示,使用余弦距离计算主题相关度。实验结果表明,本文提出的相关度计算模型在网页主题判别方面优于传统的空间向量模型;2.针对Shark-Search算法在链接评价时只考虑了链接的内容属性而忽略链接的网络结构属性的“近视问题”,根据互联网的内容聚合原则,提出了一种基于url聚类的链接评价方法,计算链接在网络结构方面的得分,与Shark-Search算法原有的链接内容得分共同构成链接得分,不仅解决了 Shark-Search算法的“近视问题”,并且降低了因锚文本缺失造成的错误率;3.为了更好地解决主题爬虫的“隧道问题”,扩大爬虫的覆盖面积,本文对Shark-Search算法中的隧道穿越机制进行优化,结合HITS算法思想对网页进行hub类型判定,针对不同类型的网页制定不同的隧道穿越策略,优化后的算法和Shark-Search相比能更快停止无关搜索并能提高对长隧道的穿越成功率;4.将本文提出的主题相关度计算模型引入Shark-Search算法中,代替原有的向量空间模型,并结合以上对Shark-Search算法搜索策略的改进提出一种基于改进Shark-Search算法的主题爬虫,与其他主题爬虫算法进行对比实验,在查准率和收获率方面都高出5%以上,验证了本文提出的主题爬虫算法的有效性。