论文部分内容阅读
本文首先介绍了大数据的相关技术以及航空企业进行数据分析应用的现状;进丽详细阐述了现有数据分析系统或平台的弊端和传统航空企业对于大数据技术的认识误区;最后,在充分理解企业业务数据内涵和大数据相关技术的核心原理基础上,提出了航空企业基于大数据技术进行数据分析的基本架构,具体分析了数据源及存储、中间件的选择、可伸缩系统架构的搭建、并对未来进一步的发展提出了建议和展望.目前已经搭建了一个拥有4个节点的Ha-doop集群,并且部署了MySQL、HDFS、HBase、Hive等。并在此基础上实现了日志文件自动处理,FDR、QAR原始数据的并行译码与数据挖掘,ACARS报文数据的处理,图形化展示,监控报警等功能。未来,随着数据量的进一步增大,将逐步增加集群节点的数量,并且进一步研究航空相关的数据挖掘算法到MapReduce模型的转换,进一步优化非结构化数据的高效存储与查询。