随着网络技术的高速发展,社交媒体逐渐深入并影响着人们生活的各个方面,其产生的数据类型呈现数据量大,数据种类多,实时性强,高价值的特点,用户要抓取这些数据并研究需要用到网络爬虫技术。分布式网络爬虫为人们抓取大规模数据提供了技术支撑,Hadoop平台是由Apache领导开发的一个优质的开源大数据处理框架。本文所研究的面向社交媒体的分布式网络爬虫就是基于此框架设计和实现的,主要的工作内容包括以下几个方面:1.设计了一个面向社交媒体的分布式网络爬虫,以新浪微博为数据源,将抓取到的数据存储到HBase数据库之中。对面向社交媒体的爬虫系统进行了总体设计,主要是爬虫系统的概要设计、工作流程设计、功能模块划分,并对系统进行了详细的设计和实现。2.本文研究的主要目的是针对面向社交媒体用户群体多和产生的数据量大的特点,给出面向社交媒体的分布式爬虫系统的优化方案。通过布隆过滤器对抓取到的用户URL（Uniform Resource Locator）进行去重,再利用爬虫对去过重的URL集进行遍历从而实现社交媒体数据的获取。由于布隆过滤器本身存在误判的缺陷,从而改进算法,降低该算法的误判率并在Hadoop平台进行实现,应用到面向社交媒体的网络爬虫系统中。3.在实验室服务器上搭建8个节点的Hadoop集群,并对Hadoop集群进行相关的环境配置,本文设计的爬虫系统是在该机群上实现的。之后把获取到的社交媒体用户的URL在配置好的环境上进行测试,查验改进的布隆过滤器算法的去重效果,并测试面向社交媒体的网络爬虫系统的功能性。实验结果表明,本文改进的布隆过滤器算法的误判率明显降低,并且在分布式网络爬虫系统中网页去重模块拥有良好的去重效果,从而优化分布式网络爬虫系统提升数据抓取效率。