基于MySQL Binlog解析的大数据迁移系统的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:sisu16113
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,大多数企业都使用关系型数据库如MySQL、Oracle实现业务数据的持久化存储。然而关系型数据库对于大数据的查询及分析性能较差,为了能够从数据中抽取有效信息帮助企业进行相关决策,企业通常需要将存储于关系型数据库中的数据迁移到数据分析工具中。在互联网背景下,如何实现关系型数据库和数据分析工具之间的数据传输成为很多企业都需要面对和解决的问题。基于MySQL Binlog解析的大数据迁移系统是某互联网金融服务平台的子系统,负责将该平台各个业务系统的数据从MySQL迁移到Hive,满足了该平台当前的数据迁移需求。本系统通过解析MySQL Binlog(二进制日志)进行增量抽取的方式从数据源端获取数据,并根据数据的类型使用Protocol Buffers提供的代码生成器生成的数据读写接口将数据包装成对应格式消息,然后将消息发布到RocketMQ中。数据消费端从RocketMQ中订阅消息,并使用数据读写接口获取消息中封装的数据,然后根据数据的类型对数据进行相应处理和存储。本系统所采用的数据迁移方案解决了某互联网金融服务平台原来使用的开源数据迁移工具存在的磁盘空间占用高和迁移耗时长的问题。在设计高可用方案上,采用负载平衡、断线重连、多实例部署等方法保证平台数据迁移服务的高可用。本文首先介绍了大数据迁移系统产生的项目背景和研究现状,描述了系统开发涉及到的主要技术。然后,结合系统的功能性和非功能性需求,本文将系统划分为迁移服务管理模块、数据采集模块、消费模块三个模块,并依次对各个模块的设计进行了详细的介绍。接着,本文详细描述了每个模块的具体实现。最后本文介绍了系统的相关测试,展示了系统的测试过程和结果。本系统投入使用之后,运行良好,为该平台提供了稳定可靠的数据传输服务。
其他文献
乡村教师是乡村教育发展的重要支持力量,也一直是其中的短板。我国面向乡村中小学的教师培养主要有师范院校培养、普通高等院校培养、非政府组织进行的支教及其培训等渠道,在一定时期内的确为乡村地区补充了相当数量的师资。然而,随着教师资源配置的市场化和社会发展的城镇化,乡村教师这一工作在就业市场中逐渐失去吸引力,乡村学校仍旧面临着教师招聘、培养、教学开展等方面的诸多问题。反观同我国有着相似背景的美国,乡村教师
学位
2019年2月,中国互联网信息中心(CNNIC)发布第43次《中国互联网络发展状况统计报告》称,截至2018年12月我国网民规模已达到8.29亿1。规模如此庞大的网民群体或多或少浸入在网络语言中——有人是网络语言“深度使用者”;有人是紧随网络语言更迭的“弄潮鹅”;有人则是网络语言的局外人,不知意义与用法;也有人对破坏了语言规则、污染汉语纯洁性的网络语言深恶痛绝。从聊天室到BBS、贴吧,再到社交媒体
学位
外科手术是非小细胞肺癌的重要治疗手段,其术后定期随访是早期发现和治疗肿瘤复发转移或第二原发肿瘤的有效方法,可提高患者的生活质量,改善预后。本共识旨在完善我国非小细胞肺癌患者术后随访方案,为负责非小细胞肺癌患者术后随访的同道提供参考,进一步提高我国肺癌规范化诊疗水平。
期刊
报纸
自1969年以来,美国出现了政策采纳扩散研究,该领域已有较为丰富的研究。所谓政策扩散,是指政策在出台后,在不同层级的政府部门之间流通的过程,政府部门的采纳即为该政策的成功扩散。在政策的扩散过程中会呈现出一些规律,这些规律蕴含着政策扩散的普遍特征。在中国与政策扩散以及承继的研究相较于国外开始较晚,理论体系尚未成熟,案例研究也并不丰富。中国是一个政策大国,对中国的政策传播扩散研究有重要意义。本文以大数
学位
近年来,氯代硝基苯类化合物(NCBs)和内分泌干扰物(EDCs)作为典型的毒害有机污染物因持久性长、毒性大、隐蔽性强、环境浓度低等特点受到社会的广泛关注。准确监测水环境中毒害有机污染物对于评估生态风险和制订有效控制措施具有重要指导意义。由于主动采样法监测痕量级别毒害有机污染物的结果缺乏代表性,薄膜扩散梯度技术(DGT)作为可替代采样技术不仅能够监测极低浓度的污染物和提供时间平均加权浓度,而且对水动
学位
本研究以‘大五星’(红肉)和‘川农1-5-9’(白肉)枇杷不同发育阶段的果皮、果肉为材料,采用同源克隆法从枇杷果实中克隆类胡萝卜素合成途径中关键酶基因PSY,利用生物信息学方法分析所获得的核苷酸序列及推导的氨基酸序列,再利用qRT-PCR从转录水平上检测两种枇杷不同发育阶段表达水平。发现枇杷PSY基因cDNA序列全长1 191 bp,具有完整开放阅读框,编码396个氨基酸。氨基酸同源性分析表明,枇
期刊
目的 优化磷酸特地唑胺片的制备工艺,并进行工业化生产。方法 制备工艺采用流化床制粒,随后压片、包衣的工艺流程。对关键性辅料粘合剂、崩解剂及原料药粒度、素片硬度和包衣增重等进行优化,并对优化后处方进行放大生产。结果 最终确定处方为磷酸特地唑胺200 mg、微晶纤维素78 mg、甘露醇78 mg、聚维酮K30 16 mg、交联聚维酮12 mg(内加)、交联聚维酮12 mg(外加)、硬脂酸镁4 mg、薄
期刊
随着法院信息化建设的不断发展,各级人民法院的基础设施、应用系统等越来越完善。为了更好地推进信息化建设,法院需要外部协助开发基于现有数据的应用系统。数据交换是新应用系统运行的基石,由于法院内部数据的敏感性和复杂性,内外部之间不能随意进行数据交换,而且,虽然目前法院内部已有部分数据开放给外部,但是数据管理方无法了解数据访问情况,导致不能对法院内外部数据交换进行有效地监管。针对当前法院数据交换过程中遇到
学位
聚羧酸减水剂、缓凝剂和纤维素醚是制备石膏基自流平砂浆的重要建筑添加剂。通过比较流动度与力学强度等性能指标,研究了3种聚羧酸减水剂、缓凝剂和纤维素醚对脱硫石膏基自流平砂浆性能的影响。结果表明:相比于减水剂A和C,减水剂B对自流平砂浆适应性更好;缓凝剂可显著延长自流平砂浆的凝结时间,但超掺会导致砂浆强度损失明显;纤维素醚掺量的增加,提高了砂浆的保水效果,同时降低了力学强度;优化后的脱硫石膏基自流平砂浆
期刊