大数据时代到来了,所有企业每天的信息储存量以ZB统计,越来越多的企业倾向于多层次的数据管理系统,将大量的数据转移到专业的数据管理平台,能够存储、计算和管理大规模数据的大数据平台。本文设计并实现了一个数据迁移存储系统。该系统能够实现企业日常数据管理任务中数据向Hadoop大数据平台的迁移和在Hadoop平台的自动化存储归档。等待迁移的数据有非结构化的数据文件也有存储在数据库中的结构化数据。结合待迁移数据的结构特点,考虑到迁移的安全性、完整性、效率及成本,通过对几种迁移方式的对比分析,本文最终采用基于FTP服务的开发实现了大量文件的跨平台迁移。这样的迁移方式保障了迁移本身的安全性,同时也使整个系统流程更加流畅清晰。为了实现数据存储归档的自动化,数据迁移需要携带参数配置文档来说明如何处理数据。在Hadoop平台程序自动的访问到达的数据文件,通过解析参数执行命令,相当于Hadoop平台的数据处理接口。Hadoop是现在比较主流的大数据平台架构。平台上用HDFS分布式文件系统来存储和管理数据文件,同时支持MapReduce分布式计算框架的编程,能够提供安全可靠的数据存储和高效灵活的数据计算。Hive和HBase是基于Hadoop的数据管理组件,两者本质不同且各有所长,本文实现了Hive与HBase的整合,结合两者的长处实现了一种高效、灵活的复合存储体系。经测试,系统能够支持完成数据的迁移存储,同时Hive与HBase的整合使平台的数据管理性能得到了优化。