基于数据内容的消息中间件技术研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:xiaxj
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术革命在全球范围内的深入推进与互联网软硬件的广泛普及以及“互联网+”产业形态的兴起,大数据的时代已经来临。剧增的数据量一方面为数据挖掘技术提供了有力的支撑,为人类社会提供了更为智能与便捷的网络服务,另一方面其带来的网络传输与存储需求也对现有的软件技术提出了严峻的挑战,催生了分布式技术的持续演进。消息中间件技术是分布式系统中为收发两端应用提供高效数据分发服务,支撑分布式系统平稳应对大数据量并发访问的软件技术。如今,在日益发展壮大的网络规模下,直面数据洪峰的消息中间件在吞吐率和传输时延上的性能瓶颈问题变得更加突出。巨大的数据传输需求使得数据服务提供商不得不部署大量的服务器组成复杂的中间件集群,从而导致了集群部署运维成本的飞升,数据传输所占用的网络带宽与存储资源又影响了分布式系统的整体服务效率。现有的消息中间件通过优化IO,减少冗余流程,增大并发线程数等传统软件优化方法来提升系统性能表现,但随着消息中间件软件的日臻完善这种做法所能带来的性能提升已逐渐遇到瓶颈。消息中间件亟需实现进一步性能提升的手段。为解决这一问题,本文提出数据驱动消息传输的思想,立足于分布式计算机系统迫切需要更高性能的消息中间件的现实,结合新兴的机器学习技术,提出了一种基于数据内容的消息中间件技术。针对消息中间件的吞吐量性能瓶颈,为改善消息中间件在大数据场景下对网络带宽与存储资源高占用的现状,本文设计了自编码训练模块,创新性地将自编码器引入消息中间件来对数值型消息进行最大程度的压缩,进而提升系统的吞吐率。针对分布式系统中存在的对关键热点数据的低时延传输需求,本文提出了分级消息传输方案,允许通过解析消息内容为消息设置优先级。通过将高优先级消息基于内存存储,而对存储于磁盘的普通消息利用内存映射技术进行优化,可以实现关键数据的优先高速传输,为关键业务的快速响应提供了支持。在此基础上,本文针对分布式环境设计了一套消息中间件系统。基于所设计方案,本文完成了整体系统的实现与部署,并对系统进行了性能测试与可用性测试。测试结果表明,与现存其他的消息中间件相比,本文所设计的消息中间件在吞吐率与部分消息的时延性能上具有优势。这一结果表明,通过引入数据分析方法提升消息中间件的性能表现是可行的,这为消息传输性能优化提供了新的思路,对分布式消息传输的相关研究具有重要意义。
其他文献
文化创意产业的集聚发展是推动区域产业结构调整、经济快速发展、空间结构优化的重要途径之一,受到普遍关注。目前关于文化创意产业空间集聚特征,一直是经济地理学关注的主要内容。近年来,昆明市的文化创意产业发展迅速,呈现集聚性发展的态势,并且集聚性越来越强,逐渐形成多个文化创意产业园区。但是,昆明市文化创意产业集聚区的产业和空间具有怎样的特征,文化创意产业集聚空间的演化机制是什么,以及文化创意产业聚集空间对
云计算作为一种新型的计算资源组织和服务提供模式,已经成为国家战略的重点发展方向,为智慧城市、金融军事、医疗教育等重点行业提供基础支撑。云计算呈现多域共存、多云混合的趋势,其海量身份管理面临严峻挑战。基于公钥基础设施(Public Key Infrastructure,PKI)的集中式服务在分布式证书验证和跨域交叉认证等方面无法满足海量多域云计算用户认证的需求。本文聚焦于多域云计算场景下的可信认证问
白斑综合症病毒(White Spot Syndrome Virus,WSSV)是虾养殖中最具威胁的传染性病原体之一,其宿主范围广、致死率高、传染性强,给世界虾养殖业造成了巨大的经济损失。遗憾的是,目前尚无有效药物防治,只能通过加强养殖管理措施的方式进行预防。毋庸置疑,研发有效的药物是预防WSSV感染的最有效的措施之一。本论文以WSSV的表面包膜蛋白vp28基因(基因库编号:FJ756456.1)作
光电化学分析法因其结合了光学和电化学的双重优势,而具有背景低、灵敏度高、设备简单、易微型化等优点,是一种新兴的极具应用潜力的分析方法。该方法被广泛地应用于环境化学、分析化学以及生物医药领域。其检测原理是在光激发下,利用具备光电转换性能的材料并且依据识别元件与目标分子之间的生物识别作用引发的电信号改变来确定待测物浓度。WO_3是一种n-型半导体材料,具有独特的光、电及物理化学等性能,本论文主要研究了
目的:探究基底动脉闭塞(Basilar Artery Occlusion,BAO)患者血管内治疗术后预后的影响因素,同时比较血管内治疗前后中医证候分布的异同,以期提高中西医结合诊治基底动脉闭塞的临床疗效。方法:1.采用病例回顾性研究的方法,收集2010年1月至2018年10月广东省中医院脑病中心收治的符合基底动脉闭塞诊断标准且行血管内治疗患者的临床和影像学资料。2.对纳入患者行术后回访,收集其术后
当下在科学技术的高速发展和多媒体技术逐渐成熟的阶段,多媒体技术的进步影响着舞台艺术的发展。多媒体技术介入数字化舞台之中,对传统的舞台艺术产生了一定的影响。融入了多媒体技术的舞台艺术,增加了观众对舞台表演的观赏性,扩展了舞台表现空间。强烈的舞台演出效果以及身临其境的演出现场,将舞台表演艺术再次推到一个新的高度。在现代科技的背景下,多媒体技术手段与舞台艺术的融合是舞台艺术发展的必然结果,数字化舞台与多
学位
波浪的波高、周期、波向、谱峰频率和波能密度是海洋运动环境中的关键特征要素。本文利用大比尺波浪水槽模拟海洋的波浪运动环境,以提升预测精度为目的。主要内容如下:针对姿态解算、外部环境以及传感器本身对加速度信号的影响问题。采用四元素算法对加速度信号进行全姿态解算,解决万向节锁的问题;采用分散式卡尔曼滤波算法对加速度信号进行滤波,保证传感器系统容错性、稳定性,解决外界环境干扰问题;结合递推平均算法和中心化
目的:本研究旨在观察各指标变化情况,评估服用四逆散前后的安全性。检测血液中应激反应指标的变化,评价四逆散是否能降低腹腔镜肝切除术后应激反应指标,以明确临床使用价值。方法:1.分组:收集2018年4月至2019年2月广东省中医院肝胆胰外科腹腔镜肝切除术后患者,根据纳入和排除标准,严格筛选46例患者。根据随机分配原则,将患者随机分配至试验组和对照组,每组各23人。2.治疗方案:术后对照组予常规西医基础
“微时代”是人类社会生活信息化的产物,是计算机和互联网等新技术发展的必然结果。“微时代”以微媒体快速、全面地进入人们的生活为标志,微媒体对社会生活中的不同群体也会
富锂锰正极材料Li1.2Mn0.6Ni0.2O2(LMNO)高的比容量(>250 mAh·g-1)使其在能源储能、大功率动力电池等领域具有巨大的应用潜力,但是存在首次库伦效率低、容量和电压衰减严重