随着存储领域的高速发展,衍生出许多的存储类型。不同数据存储类型,有其各自的特点。一个系统通常会使用多个类型的存储来存储数据,各个系统之间也会涉及到不同存储类型下的数据流通。这就使得对通用的数据传输服务的需求逐渐变多。为了保证数据能够平滑的从一个存储迁移到另一个存储,需要有相应的数据迁移配置系统、任务调度系统、传输系统等,并且需要相应的高可用、高可靠、高性能的保障措施。基于此,本人设计并实现了异构数据传输系统。该系统分为5个模块:任务配置模块、任务调度模块、任务传输模块、监控模块、元信息模块。每个模块之间有一定的联系,又有各自承担的职责。(1)任务配置模块:该模块提供与用户交互的API接口,以及对用户的请求进行参数校验;通过读写元信息模块的数据,与用户进行交互,并将用户的操作内容反馈给任务调度模块。(2)任务调度模块:该模块在整个系统中,扮演承上启下的作用。其既通过读取任务配置模块在元信息模块中留下的配置命令,调度任务传输模块执行任务;又通过读取任务传输模块的运行过程数据,反馈给任务配置模块。(3)任务传输模块:该模块是异构数据传输系统的核心,是具体进行数据迁移的模块。其需要读取源端的数据,并进行一定的解析、过滤、映射,最终写入目标端。该模块还需要考虑可用性、可靠性、性能等因素。(4)监控模块:该模块是保障整个异构数据传输系统平稳运行的根基。其通过对元信息模块的轮询,获取各个模块的运行状况、各个数据传输任务的运行状况等,并基于此做故障判定与故障反馈,以确保系统维护人员能第一时间感知故障,并尽快采取补救措施。(5)元信息模块:该模块使用开源的存储工具Mongo DB和Zookeeper进行存储,是各个模块进行交互的重要工具。本人在本课题中设计、实现整个系统的所有模块,并通过对系统的功能性验证与非功能性验证,确认最终实现的系统符合设计预期。本项目已上线,已有业务接入使用,且满足用户使用的需求。本课题对数据扩容、业务上下游解耦、订阅增量变更数据等具有重要意义,实现不同存储之间的数据交互,对于数据存储行业的技术迭代具有重要作用。