21世纪是一个数据爆发增长的时代。每天产生的数据难以计数,种类繁多。而资讯类数据又是时效性很强的信息,在每天海量且多样的资讯信息面前,企业及那些有这类数据需求的人们希望获取类似资讯类网站中最新的有价值的网页信息,不仅要求数据规范统一,数据量庞大,时效性强,而且希望获取的成本低、效率高。与传统爬虫不同,基于redis的分布式自动化爬虫主要针对类似新闻资讯、博客文章类网站快速抓取,其中自动化解析的设计,无需针对网站编写网页解析脚本,从而节省大量时间。根据爬虫的通用工作流程,将整个爬虫系统设计成各个功能独立的模块化架构,主要由四大模块组成,分别是调度、下载、解析、入库,中间数据流通过借助中间件redis提供的天然分布式队列来流转。其中在调度模块中加入了各种常用及特殊场景下的爬虫抓取策略,例如周期性抓取策略;错误重试抓取策略;断点续爬策略;实时抓取策略;去重策略;抓取速率和并发控制的抓取策略等。解析模块分为列表页自动化解析模块和详情页自动化解析模块两个子模块,从而实现对网站的整体解析。除此之外设计的基于redis的分布式模块化爬虫架构能够支持多机部署,海量数据爬取。基于常见爬虫的实现原理、工作流程、抓取策略、网页正文提取以及分布式等相关方法与技术,最终实现了一种针对资讯类网站自动化解析的、高效率的、支持多种爬虫策略的分布式模块化爬虫系统。实验通过自身抓取速率测试,与Scrapy的抓取速率对比测试,自动化解析测试,结果表明基于redis的分布式自动化爬虫在架构上和实用性方面都是可行的。