随着互联网技术的迅速发展以及互联网信息的爆炸式增长,网络拥堵成为了影响互联网服务质量的瓶颈。CDN (Content Delivery Network,内容分发网络)技术和P2P (Peer to Peer,点对点)技术为克服这个瓶颈,提高网络服务质量发挥了重要作用。CDN网络由分布在网络边缘的服务器群组成,通过在应用层实现智能路由,可以使用户就近获取内容,但传统的CDN网络基于C/S(客户端／服务端)模式,当客户端数量剧增,容易出现性能瓶颈,使服务质量低下,为了提升服务质量,需要增加边缘服务器数量,导致CDN网络建设费用激增。在P2P网络中,每个节点同时作为服务器和客户端,这种对等的关系,打破了C/S模式-的束缚。在CDN网络中引入P2P网络,能够有效缓解客户端数量剧增带来的边缘服务器访问压力,提升网络服务质量,CDN与P2P的融合是当今网络服务的研究热点。在应用CDN-P2P系统的过程中,随着网络规模变的越来越大,就会产生大量的用户数据和系统数据,若要对系统运行过程中采集到的用户数据和系统数据进行处理和分析,以发现用户需求,并根据用户社会属性和需求的相似性信息来改变网络组织方式,提高网络服务质量,系统就需要具有大规模数据处理的能力,而Apache的开源项目Hadoop就是目前最流行的大规模数据处理的技术框架。Hadoop可以使用自身的HDFS文件系统进行大规模数据的存储,也可以使用HBase数据库存储大规模的数据。同时为了应对超大规模数据(PB级)的处理,Hadoop使用了Map/Reduce计算模型。本文重点论述如何将一个基于社会属性CDN-P2P系统与Hadoop结合,以提高系统的网络组织效率和服务质量。主要有以下几个关键点：第一、加入节点用户·社会属性概念,将每个节点用户在社会属性和内容需求上的相似性作为影响组织网络拓扑的重要因素,在组织网络拓扑时,充分挖掘节点用户之间的相似性,同时根据节点用户之间相似性的变化,动态调整网络拓扑,组织出具有更高查询效率的网络。第二、基于Hadoop分布式框架,使用HBase数据库存储大规模的CDN-P2P系统产生的网络数据和用户数据,提高CDN-P2P系统对于大规模数据的存储能力,同时保证系统数据安全第三、基于Hadoop分布式框架,使用Map/Reduce计算模型,提高CDN-P2P系统对于大规模数据的处理和分析能力,从中提取和挖掘用户需求,计算用户之间的相似性,提高网络组织效率