互联网技术越来越普及,搜索引擎已经成为了人们生活、学习、工作中不可缺少的工具,这些通用搜索引擎给我们提供了强大的信息搜寻功能。然而,随着信息量的越来越大、用户使用量增多、需求的日益精化,传统通用搜索引擎信息检索不够深入、搜索结果与需求不匹配等问题越来越突出。基于领域的垂直搜索引擎应运而生。基于领域的网络爬虫,是针对某一个行业的主题信息进行抓取,故抓取下来的信息都是满足了特定需求的用户深入查询的需求,具有专、精的特点。本文首先详细介绍了现有的搜索引擎种类与现状,阐述了传统搜索引擎的不足以及主要的抓取策略与抓取算法,并进一步分析了这些算法的优缺点。并阐述了现有的基于领域网络爬虫的研究热点。其次本文对现在流行的开源网络爬虫架构进行了详细的介绍,并在此基础之上选取Heritrix+Lucene搭建了针对手机信息的爬虫平台。之后,分析了Heritrix网络爬虫的设计结构与扩展点,进行了一些源码的改进,消除了Heritrix网络爬虫的一些设计缺陷。针对传统搜索引擎的缺点,并比较现有的一些领域主题网络爬虫的抓取算法,本文提出全新的基于领域的网络爬虫抓取策略。以Shark-Search主题搜索算法为基础,在利用VSM模型计算文本相似度时引入概念权重,构建基于手机信息领域的本体模型以及语义矩阵。根据标题、meta、锚文件、上下文等位置信息设置文本结构权重值,进一步细化了领域主题相似度计算方法。本文结合PageRank改进的网页重要度算法考虑到了父页面的重要度对子页面的影响,结合前面所述的相似度计算方法对URL综合排序,以避免传统搜索的领域主题漂移问题以及领域主题搜索时的隧道现象。本文使用Java语言实现对爬虫代码的扩展与实现,并分析了最终的抓取效果。针对未来的改进点进行了前瞻性的探讨。