互联网二次革命迎来的是移动互联网时代,产生大用户量大数据的需求和高风险、高变化、快迭代的特性。于是现在的重要课题就包括如何吸引和留住用户并深入挖掘利用用户价值,发现用户需求并合理导向,同时要及时发现风险规避风险,明晰系统产品运行情况和分析比较市场,从而在激烈竞争中脱颖而出。而通过大数据对用户进行研究,以数据驱动产品是应对市场时代变化和切合以上课题的重要途径。在新形势下,需要用大数据及新的高并发分布式架构来替代原来传统的应用架构,来应对业务需求、用户量数据量激增和高度迭代的需求。携程大数据团队通过努力,利用大数据的相关技术为业务带来了惊人的提升和帮助。整个团队主要的工作包括架构维护携程机票研发部的大数据平台:hadoop生态圈,alibaba开源的hadoop作业平台宙斯Zeus,ElasticSearch集群ELK平台,Kafka集群MQ平台,spark、storm计算引擎,presto分布式查询引擎等,也包括架构开发维护机票事业部的统一大数据监控平台。本文首先介绍了携程机票部大数据监控平台的背景现状和项目的意义。介绍携程对大数据的需求和业务应用场景,介绍架构背景。阐明我所在的大数据基础平台组在架构开发上所做出的努力,主要包括大数据监控背景下的kafka集群平台、ELK(ElasticSearch+LogStash+Kibana)集群平台和携程机票研发部统一监控系统的架构设计开发。其中涉及到kafka、elk、Guice、Esper、Meteo、Shiro和Highcharts等技术框架。本文阐述了大数据平台的架构和实现细节,解释架构设计原理和大数据处理流程。对监控系统进行需求分析,介绍了监控系统的整体架构,对各模块的功能和流程进行了详细的设计。系统平台主要包括FlightDataAggregator数据处理子系统和FlightLiveWatch前端监控展示子系统。结合UML图和关键部分代码,阐述监控系统的具体实现过程。对其中复杂或者重要的部分进行详细的描述并展示部分页面的示意图。