随着互联网的高速发展,网络安全逐渐成为公众关注的话题。网络安全也关系到公众的个人隐私和信息安全,因此网络安全相关的文章和资讯是极有价值的。网络安全属于专业性极强的领域,相关的网络资源主要分布在专业网站、论坛以及一些包含各类信息的资讯网站的科技版块,其在网络中的分布较为杂乱,公众无法及时准确地了解近期的网络安全话题。本文针对网络安全领域设计并实现了一个分布式的互联网爬取系统,能够高效地从互联网中爬取到海量的网页文本,同时提取出网页正文部分,并且从中筛选出属于网络安全领域的文本。本研究的主要工作内容如下:利用Redis构建爬虫任务消息队列,实现多个爬虫节点共同消费队列的分布式爬取系统。针对待爬取的网址,设计有效的网址去重策略,避免重复爬取,提高系统爬取的效率;利用消息队列实现爬虫与解析两个模块的解耦,降低系统的耦合性,同时通过控制两个模块的进程数目,协调两个模块的运行速度,充分提高对网络带宽和硬件资源的利用率;针对复杂各异的网页结构,设计有效的正文文本提取算法,准确地提取出网页正文部分,减少无效文本对后期文本二分类的影响。针对网络安全领域,设计出一套实际可行的数据清洗方案,筛选出属于网络安全领域的网页文本。调研网络安全相关的专业网站,针对这些网站编写特定的爬虫程序,每天定时运行,获取到这些网站发布的网络安全领域的网页文本,构建文本数据集;利用机器学习相关算法,设计并实现针对网络安全的文本二分类算法模型,从分布式爬取系统获取的海量网页文本中筛选出属于网络安全领域的部分。