面向时序数据流的分布式缓存系统设计与实现

被引量 : 5次 | 上传用户:zhouyulong456
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息化时代,各种数据源持续不断地产生大量的数据。在过去,由于需求和软硬件方面的原因,持续的数据流处理系统对数据持久化提供了有限的支持。然而随着业务和场景的不断变化,大规模实时流式数据有了持久化需求,这些流式数据大多具有时序性,并且数据的读写成本很高,因此要求在初次持久化时就能有序地保存这些时序数据。本文通过分析时序数据流的特征和存储需求,设计了面向动态时序数据的持久化算法和排队系统模型,并由此实现了一个面向时序数据流的分布式缓存系统,该系统为时序数据流提供了可扩展的有序持久化存储解决方案,既保证了数据存储请求的快速响应,又保证了时序数据能有序地持久化存储。本文完成的主要工作如下:首先,分析了时序数据流的特征以及存储需求,提出了两种针对时序数据流的有序持久化算法,依据排队论描述系统并建立模型,对系统的设计优化问题进行了求解。利用该算法和模型可以保证动态时序流式数据有序持久化写入磁盘,减少系统后续对历史数据的排序成本。其次,结合时序数据流持久化算法和模型,并借鉴当前主流的分布式系统架构思想,设计了一个面向时序数据流的分布式缓存系统。该系统可以支持大量动态时序流式数据的排序与缓存,并具有高效的持久化存储性能,能保证动态时序数据的有序性持久化,系统利用内存数据库和批量持久化大大提高了时序数据的并发存储请求与实时响应性能。最后描述了分布式缓存系统的设计和实现过程,并利用真实的用户行为日志数据,对系统进行了测试,验证了该分布式缓存系统以及持久化模型的有效性和可行性。
其他文献
超导腔相对于常温腔,具有加速梯度高、品质因数高等优点,应用越来越广泛,尤其是多cell超导腔,已经成为超导腔领域的研究热点。超导腔的预调谐是多cell超导腔研制过程中的一项关键
随着半导体工艺的发展,处理器朝着众核方向发展,片上网络逐渐取代总线成为核间通信的基础架构。新工艺的出现改变了片上的设计范式,使得在单芯片集成更多的处理器核成为可能。然
<正> 社会主义市场经济体制的建立,为我国保险业的发展提供了历史性的机遇,同时,也给我国保险业带来了严峻的挑战。为迎接这一挑战,柳州市人保公司于1996年初以“城市居民保
新课程强调教师应当从学生已有经验出发进行教学,即教师教学时应当关注学生的学习起点。学习起点是指学生已经掌握和通过预习可以自行掌握的知识基础、技能基础、思维基础和经
人具有公民和品德身份,是两个身份的统一体。品德是人之为人,人与人相区别的重要身份。凸显人的价值,就要重视品德修养,提升第二身份。
保险经营活动中交易的双方在保险知识、保险技术和实务、经营信息、监管信息、私人信息等多方面信息的不对称 ,使保险关系的双方诚信基础受到损害 ,从而影响保险关系的确立和
混业经营是世界金融业的发展趋势和加入WTO后中国金融业的必然选择 ,多层次、全方位的银保合作是混业经营模式的重要组成部分和成熟的金融市场的标志。发展中国银保合作必须
经学作为一种传统学术,历来为儒家学者文人所重。历代儒学者将研习经典,通经致用作为自己的安身立命之本。中唐时期的韩愈集文人、学者、官僚三位于一身,不仅在文学上取得较高成
近年来,计算机视觉在各个领域得到了广泛的应用。本文的研究的主要目的是将计算机视觉引入到自动化生产线上,用以来引导机械手完成对工件的抓取或装配工作。计算机视觉在该生产
外语教学的方法多种多样,而且随着时代的变迁在不断变化。对外汉语教育界的专家学者们针对学习者的年龄、背景以及汉语水平等诸多因素,研究和探讨了各种不同的教学方法。笔者在