随着网络的发展,社交软件的不断升级完善,人们越来越愿意把日常生活迁移到网络中去,人与人之间的交流互动也越来越依赖社交媒体。Facebook、Twitter和Linked In等社交媒体不断扩大用户群体,已然成为人们生活不可或缺的一部分。社交网络中每时每刻都在产生海量的数据,传统的单机模式无法满足当今对数据处理能力的要求。面向大规模社交网络数据的挖掘和分析具有极其重大的意义,因此对社交网络的分析和研究成为各界关注的热点。本论文针对网络空间安全领域中社交网络的数据难获取性、大数据组件难管理性、数据分析挖掘算法的缺乏针对性等难题,基于大数据技术设计并实现了包括数据采集、数据存储、数据计算、数据挖掘分析和数据可视化功能在内的社交网络分析系统,具有良好的扩展性和实用性。本论文的研究内容如下:系统开发:本系统以Facebook、Twitter和Linked In作为数据源,设计并实现相关的反爬虫措施,持续性通过分布式智能爬虫进行数据采集,作为上层应用的数据基础。使用大数据技术作为数据存储、计算和分析挖掘的基础,构建以HDP(Hortonworks Data Platform)大数据平台架构为基础,包括分布式文件系统、Spark分布式计算框架以及多种分布式数据库和其他大数据组件的大数据平台,为社交网络分析系统提供数据存储、计算和分析挖掘的工具。使用Spark的Graph X和ML(Machine Learning)库实现社交网络基本特征分析包括度分布、关联性分析,最短路径分析和用户聚类等。算法改进:综合分析传统的Page Rank算法和各种社团检测算法的缺陷后,将传统算法与社交网络实际数据相结合,提出基于不同社交网络的关键节点挖掘算法tw Rank算法和fb Rank算法,设计实验对比验证表明新算法较之传统算法能更好地利用采集到的数据达到精准挖掘关键节点的效果。针对传统Louvain社团检测算法的缺点提出改进的基于分布式的Louvain社团检测算法,并通过实验验证其处理大量数据的优势。系统可视化:本系统最终将上述模块功能使用Django框架和可视化技术实现数据管理和数据分析挖掘结果的可视化展示。