随着互联网技术的不断创新和发展,互联网上信息数量呈爆炸式提高,垂直搜索引擎为人们提供了专业的、全面的、优质的搜索结果。垂直搜索引擎的完美搜索结果离不开大量的精确的行业数据支持,而这些数据的获取则是垂直网络爬虫的功劳。垂直网络爬虫会按照一定的抽取规则有选择地抽取页面中的信息以及链接,并将抽取的结构化信息存储至数据库,以供垂直搜索引擎使用,这是网络信息抓取的主要流程。垂直网络爬虫抓取的主要目标是互联网上的网页,这些网页具有数量大、易变化、半结构化的特点,而这些特点导致了垂直网络爬虫抓取覆盖率不高、抓取网页信息容易失效、抽取网页信息不正确等问题。其中抓取覆盖率问题影响了垂直搜索引擎搜索结果的全面性,网页信息失效问题影响了垂直搜索引擎搜索结果的正确性,抽取信息不正确问题影响了垂直搜索引擎搜索结果的准确性。通过对三个问题的分析和总结,本文提出了网页自动发现机制、网页自动重新访问机制和抽取规则失效自动报警机制。这三个机制分别解决了垂直网络爬虫抓取覆盖率问题、网页信息失效问题以及抽取规则失效问题。本文首先介绍了网页自动发现机制,选取了开源爬虫框架Scrapy作为基础框架进行了二次开发,提高了垂直网络爬虫抓取的全面性和准确性;其次介绍了网页自动重新访问机制,选取了 Spring和Hibernate框架作为基础框架进行功能开发,保证了垂直网络爬虫信息的有效性和准确性;再次介绍了抽取规则失效自动报警机制,通过对垂直网络爬虫抓取的监控,针对抽取规则失败情况及时有效地自动报警。最后通过大量实验分别验证了三个自动化机制的有效性、高效性。