面向流式数据实时处理的缓存结构研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:fq1984
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着大数据时代的到来,互联网、物联网和金融银行等领域产生海量流式数据,由于该数据呈现高速、随机、无序、无限等特点,使得进行可靠地流式处理变得十分具有挑战性。同时,越来越多的应用需要结合海量历史数据进行流式数据实时处理并缓存结果以供用户查询,除了保证流式处理系统的时效性外,系统的稳定性和正确性也尤为重要,因此,提出面向流式数据处理的缓存处理结构以保证系统的时效性、稳定性和正确性迫在眉睫。考虑处理系统的时效性、稳定性和正确性。提出了一种面向流式数据实时处理的多级缓存结构HCache,HCache由基于哈希结构的在线缓存和批量缓存组成。在线缓存将不同批次的相同在线处理结果存储在同一桶中的连续存储空间中,并利用自身环形逻辑和批量缓存结果动态高效淘汰过期数据,基于哈希的缓存结构的设计有利于提高数据存储和访问效率。批量缓存缓存最近访问的持久化数据库结果,其使用改进的LRU(Least Recently Used)替换策略高效替换过期数据以减少内存使用和提高命中率。HCache使用在线缓存处理结果更新批量缓存,该更新策略保证批量缓存数据的一致性。针对用户查询请求,请求到达HCache后同时访问在线缓存和批量缓存,将结果合并后返回给用户。为验证缓存结构的性能,在Twitter真实数据集上与目前流行的缓存结构进行性能测试比较。实验结果表明HCache与Summingbird的缓存结构相比,读写效率有明显提升;同时HCache受到查询请求到达速率的变化影响更小;并且HCache内存使用较少。
其他文献
随着染料工业的高速发展,染料废水的大量排放不仅污染了生态环境,同时对水生物的生存及人类健康造成很大危害,因而染料废水的处理成为水污染治理的一项大工程。染料废水具有
目的了解住院患者肺炎克雷伯菌血流感染的临床特点、预后及耐药情况,为临床经验性治疗提供依据。方法回顾性分析本院2011年1月至2015年1月收治的肺炎克雷伯菌血流感染者的临
冯康[2][3]提出了求解Hamilton系统的辛算法与理论,构造出针对Hamilton系统的大量辛格式。非协调元方法放松了单元边界的连续性条件,更适用于复杂的边界条件。罗恩[4]~[7]等提
目的:研究表明,ras基因(其表达产物为p21蛋白)为原癌基因,在乳腺癌的发生、发展中占有重要地位,这已被广大学者所证实。Skp2基因(其表达产物为Skp2蛋白)是刚被发现的原癌基因
通过对焦炉煤气制甲醇技术工艺中瓶颈问题进行技术改造,改造后取得了良好的经济效益。
飞机运行时机载工况的复杂和恶劣程度远超地面换热器工作环境,航空换热器服役过程中面临的热疲劳与机械疲劳对换热器设备性能劣化有着重要影响,主要表现在相关疲劳机制形成后
特朗普给美国的内政外交带来巨变,人们正在普遍关注"特朗普主义"的内涵及其影响。"特朗普主义"具有深厚的思想基础,在美国历史上不乏身影,但"特朗普主义"并不完全等同于特朗
随着保护与更新间矛盾的激化,对大连烟台街一类的历史文化街区的保护、文化传承与更新己成为现代城市建设中的重点问题,越来越受各级政府及专家学者的重视。历史文化街区代表
随着时代的发展和不同学科理论之间的相互渗透,越来越多的实际问题或自然现象都可以用带脉冲的微分系统为数学模型来进行描述.通过对相应脉冲微分系统的定性或定量的研究,一
胃肠外科收治的患者人数较多,病种多、急症多、急诊手术多、管路多。护士工作处于高度紧张的状态,护理安全问题突出。护理安全指在实施护理安全过程中,患者不发生法律和法定