论文部分内容阅读
在网络系统日志信息规模不断增长的情况下,结合运维中的实际需求,通过大数据技术,提出了一种基于Spark Streaming的海量日志实时处理系统,并详细地介绍了系统的底层日志数据收集、传输、计算、存储、查询存储等一系列功能的设计与实现。该系统不仅能够准确、实时地解析日志信息,对数据进行统计分析,而且能对历史日志数据进行实时存储和离线计算处理。