论文部分内容阅读
日志对于每个系统来说都是不可或缺的一部分,而现阶段对日志的处理效率却不尽如人意。实时性日志考验的是大数据处理框架的实时计算能力,基于Storm并借助开源框架Kafka,设计了一个实时数据收集与处理的系统,将数据转为流的形式,对收集来的数据直接在内存以流的形式进行计算,输出有价值的信息保存到Redis。最后对系统进行性能测试以及计算能力的测试。实验结果表明,该系统可扩展性良好,且并行计算能力稳定,适合大量实时数据处理。