随着互联网的高速发展,各种网站层出不穷,网页数据也呈现指数级增长。如果可以快速地对网页进行分析并提取出有价值的信息,将其提供给有需要的人群,会是一件十分有意义的事情。与此同时,在采集信息的过程中如果能对采集行为进行全程监控和管理,将会有效地降低管理成本并可以提高采集效率。基于上述背景和目的,本文提出了一个互联网Web内容采集系统的设计和实现方案。系统分为网络爬虫后台和爬虫监控系统两个部分,网络爬虫后台可以根据用户自定义的爬取策略爬取数据并提取出有用的内容;监控系统可以对爬虫、用户等相关内容信息进行管理。互联网Web内容采集系统可以为实验室相关项目提供更好的底层数据支持,并为爬虫管理人员提供了一个有效的监管平台。本文基于Akka、Play、Thrift等技术,实现了一个互联网Web内容采集系统。首先,对系统进行了需求分析,并以此制定出总体设计方案。在总体设计中,提出了系统的逻辑架构和物理部署设计方案,将系统分成4个部分,包括爬虫后台、监控系统、交互通信和数据存储,并对每个部分的功能进行了设计。之后,根据总体设计,对每个部分的功能进行实现,并详细介绍了工作原理和实现细节。系统实现后,对系统进行了功能测试和性能测试,对得到的测试结果进行了分析,得出测试结论。最后,对论文所做工作进行了总结,并对系统中不完善的地方提出了改进计划。