P2P(点对点)计算作为一种近十年来新兴的技术,已经引起了越来越多的关注。其优点在于充分利用了终端用户的资源进行资源共享,降低对中心服务器的压力。但是随着网络规模增大,用户停留的不确定性增加,可能随时离开P2P网络,使其呈现出强扰动性的特点。如何保证在系统规模灵活扩展的同时提高系统的鲁棒性,即降低扰动对系统的影响,是未来P2P网络领域亟需解决的难题之一。基于gossip的协议模仿流言在人群中传播的特点,采用概率机制在网络中进行信息传播,具有较好的灵活性与可靠性。将gossip协议与P2P相结合已经吸引了越多越多研究人员的注意。然而基于gossip的P2P研究应用尚处于初级阶段,在构建大规模P2P网络应用平台时仍然面临三大问题:1)拓扑管理中随机的服务节点选择导致一次误选与整体负载分布不均的问题;2)局部节点调整策略导致超级节点筛选的平均服务能力偏低与比例控制的问题;3)大规模动态环境下过多低可靠性节点参与组播导致组播可靠性与冗余性的问题。本文在国家科技重大专项课题“新型移动多媒体音视频编解码关键技术研发”(No.2010ZX03004-003)与湖北省科技攻关项目“光纤到户流媒体接入技术”(No.2006AA101A03)的资助下,对基于gossip的大规模P2P网络拓扑优化与相关的应用技术展开研究。主要针对服务节点误选与整体负载分布不均的问题、超级节点筛选的平均服务能力偏低与比例控制的问题、以及组播分发可靠性与冗余性的问题。首先介绍P2P网络与基于gossip的P2P应用的相关研究背景与研究现状,然后提出基于gossip的P2P网络模型并给出相关的定义。并在此模型基础上针对上述三大问题,分别提出基于面向负载均衡机制的P2P网络拓扑管理协议LBTMP、自适应分层P2P拓扑构造协议Firas、以及高可靠低冗余的分层P2P网络组播协议DouLaCast。最后以IPTV互联网电视为应用背景,提出一种基于gossip的P2P-IPTV系统平台设计方案,并在此方案的指导下开发了相应的原型系统并通过示范应用与验收。本文在理论模型算法以及应用实践方面具有如下贡献和创新:(1)面向负载均衡的P2P网络拓扑管理协议LBTMP拓扑管理作为基于gossip的大规模P2P网络运行的一个基本支撑组件,其核心功能之一为向上层P2P应用提供服务节点选择。现有的拓扑管理协议将P2P网络看作一个同构网络,采用节点入度作为网络负载均衡程度的评价指标,认为基于随机方式的服务节点选择与拓扑信息交换可以保证服务节点选择与网络负载呈现负载均衡特性,忽略了 P2P网络中节点异构与负载分布实时变化的特点。导致在网络负载持续增加时选择出的服务节点不能满足上层应用,其首次误选几率可达30%以上,并且造成实质上的负载分布不均衡,恶化了网络的公平性。为此本文研究动态网络负载实时变化的描述模型与网络整体公平性的评价指标,提出反映网络负载实时变化的网络负载均衡程度评价指标与改进的P2P网络拓扑管理协议LBTMP。LTBMP协议优先选择可承受负载能力更强的节点拓扑信息用于服务节点选择与拓扑信息交换。使得LBTMP可以降低一次节点误选几率并改善网络整体的负载分布,从而改善网络公平性。实验证明不论在相同条件下的静态或动态网络环境下,与最优的随机式拓扑管理协议相比,LBTMP可以降低一次误选几率约13%-18%,降低全局负载均衡因子约14%-16%(越小越好)。(2)分布式的全局自适应分层P2P网络构造协议Firas在分层P2P网络拓扑构造中,依据服务能力选择超级节点时存在选择出的超级节点平均服务能力较低与超级节点比例偏低的问题,现有的固定区间阈值构造法预先定义筛选区间,不能灵活适应网络环境变化,而现有的自适应构造法仅通过局部的邻居表比较作为判断节点角色转换的依据,使得超级节点筛选的平均服务能力偏低与比例维持偏低,影响分层P2P网络的查询等服务性能。为此本文研究按照节点服务能力进行分布式分组的算法,在此基础之上提出自适应分层P2P网络构造协议Firas。相比原有分层P2P拓扑构造协议SG2,Firas的角色转换不仅仅通过局部邻居表中的参数比较,而是通过引入拓扑信息缓存从全局角度逐步获取节点在网络中的相对位置值,从而提高超级节点筛选精度并降低超级节点比例控制的误差,对不能达到最优比例的分层P2P网络起到优化作用。此外Firas也对节点角色转换进行控制,避免不必要的转换。实验证明不论在相同条件下的静态或动态网络环境下,与自适应分层P2P拓扑构造协议SG2相比,Firas对于超级节点的筛选精度提高9%,超级节点比例的维持误差降低12%。(3)高可靠低冗余的分层P2P网络组播协议DouLaCastP2P网络组播存在面临大规模动态环境下的组播可靠性不足与通信流量过高的问题。现有的基于gossip的P2P网络组播协议采用概率机制选择转发邻居进行数据发送,没有考虑P2P网络中节点的异构性特征,导致大量低可靠性与低服务能力的节点参与组播,在大规模动态网络环境下将增加组播过程中出现意外的几率,从而降低了组播的可靠性,且大量节点参与概率分发将增加冗余的数据传输。而传统的分层组播协议采用树形分发路径与DHT结构,在动态网络环境下树形结构与DHT结构中的路由表将出现缺失并被频繁重建,对组播可靠性与分发效率造成严重影响。为此本文结合分层拓扑的特性,提出一种混合机制的组播协议DouLaCast,该协议在在上层的超级节点之间实现网状的概率机制组播,减少低可靠性与低服务能力的叶节点参与组播,而针对下层叶节点实现确定性组播,有利于加强组播信息到低可靠性节点的可达性,相比洪泛与传统的分层组播协议,有效兼顾了组播可靠性与冗余性。此外引入负载感知技术调节组播转发中的邻居节点选择,有利于组播负载的均衡化。实验证明,在相同条件下的静态环境中与可靠性最好的洪泛相比,DouLaCast持有基本相当的组播可靠性但是将组播负载降低超过50%。在相同条件下的动态环境中相比分层组播协议HiGossip,可靠性提高4%-9%。(4)面向多应用的P2P-IPTV系统平台模型传统的IPTV系统采用CDN方式的内容分发模型,存在分发模式单一,系统可扩展性较差与服务可靠性低的问题,无法适应未来面向高带宽、多业务需求的大规模IPTV系统平台。为此本文基于gossip的大规模P2P网络设计了一种基于gossip协议的P2P-IPTV系统模型,该模型采用基于CDN-P2P混合式的分发架构,在Internet的骨干核心网采用CDN方式进行内容分发,而在边缘段构造了分层P2P网络用于内容分发与相关业务数据的组播分发。与传统的IPTV系统相比,该系统模型能够适应网络环境变化、具有良好的鲁棒性、平台规模可扩展性与业务可扩展性,从而为IPTV系统的大规模应用与多样化业务开展提供了有力的基础平台支撑。综上所述,本文研究成果充分结合gossip协议的优点与P2P网络的优点,探索了 P2P网络优化领域在拓扑管理、拓扑构造以及组播分发等方面的模型与优化策略,对于大规模动态环境下的P2P网络应用具有重要的理论意义与应用价值。最后本文总结了全文的研究成果,并对未来的研究工作予以展望。