论文部分内容阅读
随着大数据的发展,人们对大数据的处理要求也越来越高,原有的批处理框Map Reduce适合离线计算,却无法满足实时性要求较高的业务,如实时推荐、用户行为分析.为解决实时推荐系统中数据的实时处理问题,文章在研究 Flume 日志采集系统、Kafka 消息系统、Spark Streaming流式数据处理、Redis 数据存储的基础上提出一种基于Flume＋Kafka＋Spark Streaming＋Redis的面向推荐系统服务的数据实时预处理系统.