对等网(peer-to-peer,P2P)系统近年来发展非常迅速,已经成为Internet中应用最广泛的系统之一。在开放的P2P系统中,用户和资源具有异构性、动态性、分布性等特征。这些特征使得P2P系统广受欢迎的同时也带来新型的安全威胁,基于集中式管理的传统安全防御策略和机制并不能有效遏制恶意行为的泛滥,因此针对在P2P环境下的新型安全威胁,为了进一步提高安全性,改变恶意行为泛滥的状况,针对P2P开展的信任模型和网络监控成为研究的热点,受到学术界和产业界的广泛关注。信任模型的建立可以通过搜集分析全网用户的交互经验来识别恶意用户,从而限制恶意用户的猖獗。然而,恶意用户也针对信任模型的机制制定了不停更换新身份、团队合作及联合造假等方式来应对。因此,信任模型的部署构建、用户经验的搜集、信任值的初始化、信任值的计算模型、用户的激励等问题成为了建立一个方便有效信任模型的重要挑战。而在网络监控中,需要将P2P流量识别出来,从而进行监控分析和限制。而快速发展的恶意P2P应用和恶意用户为了对抗监控限制,也发展出动态端口、符号替换等技术来应对,这为监控设计带来了巨大的困难。此外,P2P社交网络成为谣言泛滥的重灾区,谣言的传播和抑制也成为研究的热点。因此,为了限制恶意用户,提高P2P网络的安全性,本文深入分析研究了P2P网络系统中的缺陷和威胁,设计了有效的监控系统、提出了信任模型,并建模分析了基于多重P2P社交网络联合形成的相互依存网的安全环境。本文在多种P2P应用场景中,对P2P网络的信任模型、安全监控和谣言抑制进行了研究,所取得的主要研究成果为:首先在P2P电子商务场景中,提出一种基于层次化模糊系统的承诺激励信任模型HFPTrust。基于模糊逻辑理论,设计了层次化模糊系统,该系统全面地考察了安全、性能以及承诺三个方面的8个因子来综合性地计算直接信任度,改进了初始化信任值并且降低了复杂度,使信任评价更加客观、多元、合理,符合用户的需求。全局信任度的计算还采用模糊贴近度来加权计算和更新推荐信任度,避免不可靠的信任推荐。实验仿真验证了该信任模型的可用性和安全性。此外在P2P文件共享场景中,在分析了P2P用户行为模型后,提出在一种P2P社区架构上部署的TPRTrust信任模型,综合评估了节点的影响力、交易量及信任度。在本模型中,分别建立了社区内部和跨社区信任度计算机制,给出了超级节点评选算法。最后的仿真实验结果验证了本信任模型的有效性和鲁棒性。然后针对现有识别技术的不足,设计了一种基于IP过滤的跨层P2P流量识别方案。在此基础上基于移动互联网平台我们设计和实现了安全监控系统,对其中的数据捕获模块、数据分析模块、监控模块、数据库模块和网络分析模块等每一个模块的设计和实现都进行了深入的分析。同时以P2P即时通信为应用场景对垃圾信息的过滤进行了分析和实现,分析了垃圾消息散布机理,基于社会网络分析设计了垃圾消息过滤系统,并完善了监控点的部署,性能测试表明了良好的性能。最后在P2P社交网络场景中,运用复杂网络理论分析了多重网络合作和依赖形成的相互依存网的安全性,并针对存在的连锁故障和谣言传播分别进行建模分析,提出了蓄意攻击下的连锁故障模型和SIDR谣言传播模型,并根据不同的安全策略提出了具体的安全措施。本文针对P2P网络中存在的安全威胁,分别在即时通信、电子商务、文件共享及社交网络场景中对流量识别与监控、垃圾信息过滤、信任模型、激励机制、连锁故障避免和谣言传播抑制进行了分析研究,完善了部分P2P系统漏洞,加强了P2P网络安全。