随着互联网技术的飞速发展,网络信息呈现爆炸式地更新和增长,各式各样的搜索引擎逐渐进入了大众的视野。面对海量数据,传统的集中式搜索引擎存在服务器负载强度大、系统不够稳定且工作效率低等性能瓶颈。通用式搜索引擎也存在检索范围广,检索结果不专业、不准确的缺点,显然不符合特定领域下信息检索的需求。基于上述问题,本文提出了一种基于Hadoop的垂直搜索引擎系统。该系统搭建了一个Hadoop云计算平台,完成文件的分布式存储和数据的并行处理。在分布式集群环境中结合MapReduce编程模型,实现搜索引擎的各功能模块。在高效处理数据的同时,保证了数据的安全存储和系统的稳定运行。另外,本文为该系统的网页信息抓取模块设计了一个面向主题的网络爬虫算法VPCRAW用以抓取与主题相关的网页信息。该算法综合了VSM算法和PageRank算法的优势,兼顾网页内容相关性和链接权威性,真正做到了网页信息的垂直抓取,为后续模块提供更为专业的源文件,从而提高最终检索结果的准确率。实验仿真结果表明,在处理海量的互联网数据时,相较于传统的集中式搜索引擎,基于Hadoop的垂直搜索引擎能够有效地提高系统工作效率;相较于通用式搜索引擎,该系统获取的检索结果更具权威性,且最终检索结果准确率更高。另外,可以通过调整VPCRAW算法中的阻尼系数p来抓取不同的网页信息,从而满足不同的检索需求。