论文部分内容阅读
本文为了优化机动车大数据存储管理,提供系统存储、查询、分析效率,利用基于Hadoop技术针对现有各类结构化及非结构化数据进行存储并分析,给使用人员提供良好的使用环境。系统设计业务库的集群化同步存储架构,基于Kettle组件将Sql Server业务库数据同步到Hbase,实现业务库的读写分离,提高数据查询和数据分析的效率;其次,基于Kafka对Hadoop集群的批处理、低延迟的实时系统,实现高并发下数据写入数据库并低延迟调取响应;最后,实验进行了5节点和10节点的性能对比测试,结果表明系统在10节点