【摘 要】
:
消息中间件是后端系统中必不可少的一个组件,随着当今时代数据量的增大,同时内存容量的迟滞不前,在连续大量数据混合读写的极端场景下,缓存的不足造成的缓存污染会严重拖累中间件的性能。而非易失性内存(持久内存)的面世后,其优秀的性能,相对低廉的价格,可按字节寻址的特点和持久化的这些优点,给了消息中间件的存储部分带来了全新的选择。充分发挥非易失性内存的优势,需要对中间件的存储系统进行重新设计。消息中间件不同
论文部分内容阅读
消息中间件是后端系统中必不可少的一个组件,随着当今时代数据量的增大,同时内存容量的迟滞不前,在连续大量数据混合读写的极端场景下,缓存的不足造成的缓存污染会严重拖累中间件的性能。而非易失性内存(持久内存)的面世后,其优秀的性能,相对低廉的价格,可按字节寻址的特点和持久化的这些优点,给了消息中间件的存储部分带来了全新的选择。充分发挥非易失性内存的优势,需要对中间件的存储系统进行重新设计。消息中间件不同于其他系统,其消息有着自己独有的数据特征:消息都是大量的小容量数据;同一队列下的消息读取都是逐条按顺序的;消息不能重复消费,所有的消息只会被读取一次。这些特点给非易失性内存在中间件存储系统上的引入带来了挑战。本文基于非易失性内存,针对消息中间件的数据特点,设计了基于非易失性内存的中间件存储引擎,具体工作和创新点如下:1.本文设计了一种顺序写、随机读的消息存储方案,能够有效发挥非易失性内存随机读取速度快的特点,刷盘策略上采用了多线程聚合同步刷盘的方式,在达到SSD写入速度上限的同时能够保证数据断电安全。2.本文通过在内存中自行维护了一份索引,实现了内存和非易失性内存的两层缓存架构设计以及对不同存储介质的统一管理,减少了对页缓存的依赖。3.本文通过非定长缓存块、分级缓存池以及缓存阈值的设计,有效提升了缓存的复用效率,让容量有限的缓存能够提供更多的服务。利用4K对齐、消息预加载、文件预读、大消息体的部分缓存等优化,能够有效提升中间件的性能,降低IO放大。最终本文进行了实验,测试数据显示写入速度能够达到SSD带宽上限,且在混合读写场景下读取性能和吞吐量相比只使用内存的存储系统提升了2-15倍,相比将非易失性内存作为高速硬盘的方案也提升了20%-60%。
其他文献
随着全民阅读在全国各地深入推广,亲子绘本阅读的热度在近几年持续升温,使得我国绘本馆市场不断增长。作为中国西北部一个地级城市,陕西省安康市亲子绘本馆的现状在一定程度上反映出我国大部分中小城市的绘本馆行业发展状况。YW亲子绘本馆创建于2015年,通过六年的市场沉淀,在安康市亲子阅读市场上形成了较好的客户口碑。随着素质教育领域的纵深拓展,新的供给和需求不断产生,YW亲子绘本馆在新的市场环境下,既面临着良
电力能源是居民日常生活必需能源之一,对生活质量、社会稳定、经济发展都有着十分重要的意义,也是推进科技创新、实现全球能源互联网的基础保障。国家电网作为世界五百强排名第三的大型企业,承担着民生福祉的责任,建设运营好坚强智能电网是建设全球能源互联网企业的重要基石。随着社会对电力需求的不断提高,国家电网及南方电网需要规划建立庞大的电力线路,把富裕的电能输送到最需要的地方,如西电东送,南电北送工程等。除了新
随着信息化程度的提高,网络安全威胁呈现出多元化、复杂化和规模化的趋势。在网络靶场搭建大规模的网络场景,有助于在靶场创建能够运用于各种网络场景的真实网络环境。现实网络系统规模巨大、结构十分复杂,完整推断并构建网络系统不仅需要耗费大量时间和精力,而且其结果的准确性和全面性并不能得到保证。基于上述原因,本文针对靶场网络构建目标,提出了目标网络(即靶场所构建网络的形式化描述)的拓扑推断和路由系统构建关键技
随着互联网的广泛普及,网络设备在人们的日常生活中随处可见,随之而来网络攻击和信息泄露等安全事件层出不穷。对网络资产进行全面、准确的探测是进行网络威胁分析的基础,也是对网络资产进行安全管理的前提。虽然当前的网络资产探测工具功能较为全面,但是仍然存在着如下不足:一、分布式网络资产探测系统部署分布式节点时开销大。二、Nmap、Masscan等主流端口扫描工具进行端口扫描时不够隐蔽,容易被安全设备检测出来
阿米里·巴拉卡是20世纪重要的非裔美国诗人、剧作家和音乐评论家。在巴拉卡的一生中,政治理想、文学和艺术交相辉映,为黑人文学、黑人政治和艺术运动做出了杰出贡献。基于黑人美学、革命性黑人文学和黑人音乐传统,本文运用文本细读的方法来探讨巴拉卡诗歌中的爵士情结,通过进一步挖掘爵士乐元素在巴拉卡的诗歌创作中的具体表现,突显了巴拉卡诗歌中浓厚的爵士乐情怀。本文认为,巴拉卡诗歌中的爵士情结指的是黑人爵士音乐与黑
保险行业,在我国始终作为金融三驾马车与银行、证券并驾齐驱,为社会经济发展贡献力量。然而,随着我国金融行业发展的日渐规范,保险行业在目前所处发展环境中,也受到一定挑战。保险公司如何谋划未来的发展出路,逐步提升行业影响力,这对于保险公司来说显得尤为重要。鉴于此,笔者根据多年的实际工作经验,选取亚洲第一大的财险公司——即R保险股份有限公司安徽省分公司作为主要研究对象。通过对安徽省分公司内外部环境剖析,采
全民健身是全民健康的重要前提和基础,在《"健康中国2030"规划纲要》大背景下,通过全民健身促进全民健康的重要性也越来越明显。体育对于身体和心理二维的促进作用在毛泽东的《体育之研究》中早有提出。通过文献资料法和逻辑分析法对体育锻炼与身体、心理这两个方面的影响展开综合分析,得出:1)兴趣是参与体育锻炼的起点,群众感兴趣的体育活动能够激发群众参与锻炼的动机,形成自觉体育的行为。2)参与体育锻炼需要持之
随着云计算和容器技术的不断演进,越来越多的应用程序被部署在容器环境中。容器技术凭借灵活、高效和可移植等优势,广受开发者青睐。然而,容器技术的迅速发展也带来了一些安全挑战。容器的网络拓扑通常较为复杂且缺乏稳固的安全性,使得HTTP DDo S(Distributed Denial of Service)攻击在容器网络环境中的问题日益凸显。本文提出了一种基于eBPF(extended Berkeley
从2019年以来,随着各家运营商5G牌照的相继发放,通信行业的市场开始转向抢夺5G客户市场的新竞争形势。由于现有市场已经是饱和甚至过饱和状态,为了稳定市场竞争和公平,通信部出台了相关政策阻止各运营商之前的恶性竞争,这使得同质化竞争日趋明显,由此可以看出,存量客户保有工作以及存量客户的价值提升工作是目前最主要的营销战略。目前电信公司收入的90%以上来自存量客户,存量收入的保有与客户的稳定性紧密相连,
随着经济全球化发展的推动,科学技术水平日新月异,企业之间的竞争从设备、场地、规模等劳动密集型产业实力的竞争逐渐过度到各企业间核心人才的竞争。同时进入科技、金融等高新技术行业的员工工作压力和社会环境压力也不断加重,人才交流和流动现象日益频繁,价值观不断发生变化,工作不仅需要满足最基本的衣食住行,更追求自我目标的实现。员工对工作满意度不高,可能造成员工流动性较大,增加企业人力资源成本,影响企业的业务发