随着人们对信息搜索个性化服务的需求日益增长,垂直爬虫技术克服了通用爬虫全网爬取的缺点,主要访问用户指定的站点和页面,提高了信息获取的效率和准确率。然而随着网络上数据爆炸式的增长,传统的垂直领域单机爬虫对于海量数据爬取效率已远不能满足需求,且海量存储也是一个很大的挑战。同时,动态网页技术已经广泛应用,给爬虫爬取页面带来了很大的困难。针对爬虫领域面临的这两个问题,本文提出了一个分布式垂直爬虫框架,并对基于状态转换图的动态网页处理算法进行了改进,最后实现了爬取手机App信息的分布式垂直爬虫系统。分布式垂直爬虫框架基于MapReduce的ChainMapper/ChainReducer来设计爬虫各模块,引入Redis内存数据库来对URL等进行管理存储,采用分布式数据库HBase来存储网页提取的特征内容信息。动态网页处理算法针对页面主体模块进行页面相似性判定和有选择性地触发有效元素对原来算法进行了改进,并运用Selenium WebDriver来驱动无界面浏览器Phamtomjs对网页元素上绑定的事件进行触发,下载动态网页的内容。最后基于ChainMR Crawler框架和动态网页处理算法实现了爬取手机App信息的分布式垂直爬虫系统。实验结果表明分布式垂直爬虫框架ChainMR Crawler比Nutch爬取效率高6%,说明ChainMR Crawler有较好的性能。改进后的动态网页处理算法有效减少了无效元素上事件的触发,提高了页面相关性,验证了改进算法的高效性。手机App信息爬虫系统实现了预期功能,具有比较高的爬取效率和扩展性,有较好的实用性。