发布/订阅系统中大数据量内容的高效分发方法研究与实现

来源 :东南大学 | 被引量 : 0次 | 上传用户:mgpd141314
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
发布/订阅通信模型具有异步、松耦合和多对多通信的特点,适应了目前动态多变的大规模分布式计算环境,在诸多领域得到了广泛应用。发布/订阅系统已经成为目前构建大型分布式系统的基础。近年来,有关发布/订阅系统的研究主要集中在对事件或通知消息等数据量较小的内容进行高效的分发,无法满足潜在的对大数据量的内容进行高效分发的应用需求。为满足该需求,本文研究在现有发布/订阅通信模型下,基于订阅节点协同的数据分发方法,利用订阅节点将接收到的数据内容进行合理地转发,降低对GB级数据量的内容进行“一对多”分发的时延和发布者的负载。  论文主要工作和贡献包括:  (1)研究发布/订阅系统体系结构特点及订阅泛洪的工作机制,将研究问题抽象成订阅节点集合中数据转发路径的生成和维护。订阅节点根据订阅关系自主地选择目的节点集合并创建转发表。订阅节点接收到数据后,通过查表进行数据的转发,并支持多对多的数据分发形式。  (2)为了对数据分发路径进行约束提出单向收敛性和路径扁平性约束的概念。利用MD5散列算法将系统中的节点映射到32位逻辑地址空间,并提出逻辑距离的概念。依据订阅节点与发布节点之间的逻辑距离,将订阅节点集合分割成独立不相交的“桶”,并对其进行编号。数据在订阅节点中转发时总是由低编号的桶中流入高编号的“桶”,满足了数据分发的单向性。在此基础上,结合简单的路径调整算法即可满足数据分发路径的“扁平”。  系统检测出用户动态加入、退出甚至节点失效等事件时,节点自主地进行“桶”结构的更新,修改本地转发表中相应的表项,确保数据转发路径的连通性及合理性。  (3)理论分析了基于逻辑距离生成的转发路径的形态特点以及数据分发的负载分布、时延情况,并结合大规模的系统仿真予以验证。设计并实现发布/订阅原型系统,通过原型系统实验对数据分发的效率进行实验评估。实验结果表明:发布/订阅系统中利用基于订阅节点协同的数据分发方法在分发速率、系统内部负载分布以及订阅者时延等方面明显优于订阅泛洪的分发方法,在对大数据量内容进行分发时上述优势尤为显著。
其他文献
计算机互联网的爆炸式增长以及基于因特网的电子商务的增加使得网络安全成为网络设计的一个重要因素。因此,开展网络安全特别是入侵攻击与防范技术的研究,开发急需的、高效实
在动态开放的多Agent系统中基于可信机制帮助Agent选择可靠的交互对象一直是Agent信任研究领域的重要研究课题。本文主要研究如何基于社会网络技术探讨基于群体的多Agent系统
业务交付平台是一个综合的增值业务支撑系统,使运营商能够快速灵活地提供电信增值业务。但是由于业务交付平台整合了原有各增值业务支撑系统的功能实体,因此系统接口相对比较复
入侵检测系统(IDS)是继“防火墙”、“信息加密”等传统安全保护方法之后的新一代安全保障技术。近年来,随着商业化IDS产品的不断开发,入侵检测系统也逐渐发展普及。但是,复杂的
多域间的安全互操作,需要集成、协同和统一的安全管理。解决多域互操作产生的策略冲突问题是多域集成的基础。本体是共享概念模型的形式化规范说明,是一种能在语义和知识层次
作为多媒体和网络研究领域的交叉学科,流媒体技术的应用和研究在近几年获得了迅速的发展。然而在Internet上传统基于C-S方式的流媒体应用很容易导致服务器端的性能瓶颈,并不能
网格技术是当今计算机研究领域的热点之一。而随着海量递增的数据处理需求以及信息服务需求的日益增多,如何有效地管理、分配、调度网格资源,来更好地满足用户的请求,提高用户的
随着互联网的飞速发展,以HTML文档作为信息的载体己非常普遍。然而,其复杂的组织结构、对视觉的依赖使得失明人士在访问HTML文档的时候遇到很大的困难。目前,失明人士浏览网页主
无线传感器网络(WSNs)在环境监测、军事战场、工业控制等领域的应用非常广泛。在真实的WSNs中,通常需要部署成百上千个节点。随着时间推移和环境变化,可能需对运行的节点增加
参数曲线曲面凸性分析和曲面拼接问题都是计算机辅助几何设计(CAGD)中的重要课题。本文对Bezier、B-样条两类参数曲线曲面在造型中的凸性问题做了进一步研究,主要是从几何上探