【摘 要】
：
伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞
【机 构】
：
北京邮电大学网络与交换技术国家重点实验室,东信北邮信息技术有限公司
论文部分内容阅读
伴随着互联网和移动互联网的发展,各种新兴应用层出不穷,对大数据处理的实时性和高并发能力要求也在不断提高。Apache Kafka,作为一种分布式的消息系统,具有可水平扩展和高吞吐率而被广泛的使用。对于数据业务的基础支撑系统,除了能够满足高并发度和实时性以外,数据的质量即数据可靠性也是关键的一环。但是,由Kafka原生提供的数据消费者不能够保障数据的可靠性。本文首先简单介绍了Kafka的组成、架构特性等技术背景,然后阐述了原生Consumer的原理和缺陷;最后,基于Kafka提出一个可靠的消费者的设计方案。本方案是基于Kafka的low-level的接口集,解决了Kafka原生Consumer由于将用户消费数据的动作与数据消费位置的记录独立而引起的数据质量问题,保障了数据的可靠性。最后,搭建Kafka集群测试环境,验证了方案的可行性和正确性。
其他文献
定位测量与控制系统是精密仪器中的一个重要组成部分,特别是对高精度的仪器尤为重要。精密工作台光栅定位测量与控制系统是一种包括激光干涉仪、光栅、线纹尺、感应同步器、
随着虚拟现实技术的发展,人们越来越重视其带来的真实性、实时性以及交互性,例如建筑可视化和虚拟房产等应用领域。对于虚拟房产,为了更直观地体现出潜在用户所关心的户型、
胃肠道间质瘤（gastrointestinal stromal tumor，GIST）是消化道最常见的间叶性肿瘤。早先，由于病理技术的限制，许多胃肠道间叶性肿瘤由于残留有平滑肌或神经束，而被误诊为平滑肌源性
目前,我国农业已经进入到一个新的发展阶段,随着人口增长、生态环境恶化,两者之间的矛盾也日益突出,要解决好这些问题与矛盾,就要重视发展生态农业,才可最终实现农业经济的可
为了验证基于弹簧粒子模型及其衍生定位算法的性能,本文设计了一种新的无线传感器混合网络系统,并进行了相关的实验验证。本文的混合网络是基于CC2431传感器节点和智能手机高
改革开放四十多年来,中国社会取得了长足的进步,以经济建设为中心的发展战略使中国一跃成为世界第二大经济体,经济发展为意识形态奠定了厚实的物质基础。然而,在当前,意识形
介绍了黑龙江省农作物秸秆综合利用的现状,分析了秸秆燃料化、饲料化、肥料化、基料化和原料化的技术研究方向和存在的问题。针对黑龙江省气候、种植模式、资源状况、社会经
本文介绍了一种基于PIC系列单片机与液晶显示控制器HT1621的接口实现,给出了控制时序图、硬件原理图和软件框图。在电气控制保护开关的具体应用中,该液晶显示控制器能够实现
目的探讨肺血栓栓塞症(PTE)的临床特点、诊断方法及其应用价值。方法对37例PTE的临床资料进行回顾性分析。结果本组患者临床表现为呼吸困难、气促(83·8%),胸痛(67·6%),咳嗽
开封，历史上曾被称为汴梁、东京、汴京等，是中国八大古都之一。北宋时期，开封为宋朝首都长达一百多年，规模宏大，人口众多。北宋开封的繁华盛景，除了文字记载外最著名的就是《清明上