对等网络的社区模型及其在搜索中的应用

来源 :上海交通大学 | 被引量 : 8次 | 上传用户:knik120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
对等网络应用在当今的互联网应用中,呈不断上升的趋势。尽管很多人在使用对等网络应用,但在对等网络中进行文本搜索却一直是一件非常困难的事情。其中主要的原因是在对网络中很难获取全局的统计信息。本文尝试通过在对等网络中构建用户社区的方法来获得近似全局统计信息的局部信息,再利用这些局部信息来进行文本搜索,从而提高搜索的效率。首先,本文提出了一种能够有效描述节点兴趣的元数据,它具有能准确刻画用户的兴趣、能被动态更新、能在在节点本地被隐式生成和更新等特点。我们借鉴语言模型在信息检索领域中的经验,提出以主题模型来构建描述节点兴趣的原数据,然后利用模糊集理论来计算节点兴趣的相似度。实验表明该元数据具有占用空间小(适合在对等网络中传输)、描述精度高等特点。在非结构化对等网络中,本文提出了一种有效的社区构建机制。该机制使用基于主题模型的节点兴趣描述元数据,利用网络的空闲带宽不断的交换节点的描述元数据、社区的描述元数据等用于形成社区的信息,从而形成显式的社区。相对于Khambatti等人基于Small World特性提出的显式社区模型,该方法更适合于具有Power Law性质的Internet。本文还分析了在结构化对等网络中构建社区会遇到的负载不均衡问题,并解决了这个问题。不论从单纯构建社区的角度,还是从提高文本搜索效率的角度,由于文本数据本身非均匀分布的特点和一些索引机制需要将类似的对象存放在相近节点上的原因,在结构化的对等网络中存在严重的节点负载不均衡的现象。针对这种情况,我们专门分析了如何在结构化对等系统中均衡负载的问题,并在此基础上提出了一种能够自动调整节点负载的系统——杜鹃环。相对于传统的基于分布式哈希的对等系统而言,杜鹃环首先采用位置敏感哈希作为哈希函数,另外它采用了将高负荷区域的负载到低负荷区域的做法,使得整个系统中的节点负载趋于均匀。最后,本文介绍了实验平台——GRASPS,一个通用的对等网络模拟器。由于对等网络应用的特殊性,我们不可能发动大规模的用户来使用一个特别开发的实验程序来测试各种算法的性能。因此需要一个通用的对等网络模拟器来模拟对等网络节点的行为。考虑到这些算法在对等网络底层结构、节点行为、节点资源分布等方面的差异,以及节点本身上下线、资源共享和分布等行为的区别,该对等网络模拟器必须是一个相对较通用的,同时又是非常高效的。我们通过将整个对等系统分为五层来模拟各个方面的细节,分别是:网络层、协议层、安全层、应用层和节点层。并加上一些提效技术来帮助高效管理各个节点的模拟事件。相对于传统的模拟器来说,该模拟器具有占用资源更小、可模拟系统规模更大等优点。
其他文献
移动互联网能够提供对移动终端和移动网络的支持,满足人们在移动中获取信息的需求,具有广阔的发展前景。组播技术在移动互联网中的应用可以有效节省宝贵的无线网络带宽,向用户提
关于性倾向生物学根源的研究进展,本文从4方面加以评述:内源性生物学根源、外源成因作用的生物学基础、理论和分歧以及研究建议.在决定性分化和性腺分化的基因网络和性翻转研
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
目的:探究肺血栓栓塞症给予爱通立静脉溶栓治疗的临床护理方法。方法:选取肺血栓栓塞症患者45例的临床资料进行回顾性分析,总结溶栓前后的护理工作体会。结果:全部患者中经过治
金秋十月,是万物收获的季节。2008年10月28日,由中国建材杂志社和中国建材联合会书画专业委员会(筹)主办的“中国建材腾飞奖”书画艺术大赛获奖作品展览,经过半年多的辛勤筹备,终于
目的:探讨应用CT诊断及鉴别诊断鼻咽癌的价值,提高鼻咽癌的诊断水平。方法:回顾性分析30例鼻咽癌患者的CT表现。结果:30例患者中,鳞状上皮癌21例,未分化癌6例,腺癌3例。单侧咽隐
广告代言已成为一种产品促销的有效方式,但虚实的广告代言会对社会及消费者产生极大危害。文中论述了完善广告代言法律制度的必要性,分析了虚实的广告代言法制化进程中存在的