海量数据的实时计算是大数据计算的重要组成部分,实时日志数据分析逐渐成为各大互联网公司的常规需求。日志流实时处理技术在个性化推荐、实时风控、用户兴趣预测等场景中得到了广泛的应用。体量庞大的日志数据中蕴含着巨大的价值,其效用的实时性越来越强,面对这样的场景和需求,传统的日志离线处理方式已经不再适用。与之相反,实时流数据处理技术专为对时延敏感的业务提供数据实时计算、分析服务。本文旨在设计并实现一套基于Kafka和Storm的实时日志流处理分析系统,以实现对日志数据的实时、高效处理。本系统结合日志流的特性,以满足互联网公司对日志数据实时处理的普遍需求为出发点,通过整合日志收集技术Flume、消息中间件技术Kafka、实时计算技术Storm、分布式缓存框架Tair等多项大数据技术,设计并实现了一套完全分布式、稳定性强、易扩展、高性能的实时日志流处理系统。系统解决了异源日志数据收集、日志数据实时分析、Storm中间计算结果储存、Storm与Kafka整合开发等问题,并对Kafka和Storm技术做了源代码优化,以解决双集群混合部署后的系统性能问题。本系统的开发与实现依托于国内某团购网站的在线广告业务,系统主要职责是对广告日志数据进行实时分析处理,并为依赖于广告日志数据的系统提供数据支持。