论文部分内容阅读
随着互联网的高速发展,电子邮件对人们的日常生活越来越重要,但是与此同时垃圾邮件的危害也越来越严重。在多种垃圾邮件过滤技术中,分布式垃圾邮件过滤技术有着很好的可扩展性,具有很高的垃圾邮件识别能力,是垃圾邮件过滤技术新的发展方向。
DHTnil系统是一种基于Nilsimsa摘要算法的分布式垃圾邮件过滤技术,它有着很好的可扩展性,负载均衡性以及健壮性,但是DHTnil系统中仍有很多可以改进的空间。本文结合了DHTnil系统中节点相对稳定的特性,提出了一种基于cache的DHTnil-Chord路由算法,在很大程度上改善了系统的整体路由效率。在节点数目为3000时,系统的整体路由效率提升了9.66%。在垃圾邮件泛滥这一特殊时刻,DHTnil系统的路由效率同样有很好的表现。
同时,本文提出在DHTnil系统中引入Vivaldi网络预测技术。在Vivaldi坐标系统中,每一个节点都有一个网络坐标,可以通过坐标比较精确的预测节点之间的距离,而且需要传递的坐标信息都附着在正常的通信中,不会有过多的额外消耗。在此基础之上,本文提出了Vivaldi摘要发布和查询策略:节点在发布和查询摘要的时候,在摘要距离相等的前提下优先选择物理距离更近的节点,这样可以提高摘要的发布和查询效率。模拟实验中显示,Vivaldi摘要发布策略在节点发布1000个摘要时效率提升了5.32%,Vivaldi查询策略将查询效率提升了大约5.17%左右。另外,本文又提出了改进的Vivaldi数据备份和恢复策略,将节点中的有效数据备份到离自身物理距离最近的两个节点上,减少了数据备份传输消耗和节省了系统带宽。在备份和恢复的数据大小为80KB的时候,效率提升了约8.31%。
本文中通过进行模拟实验,充分地证明了DHTnil-Chord路由算法,以及改进的摘要发布查询策略和数据备份恢复策略的有效性。