我们处在一个数据爆炸的时代,随着云计算技术的流行,互联网技术的发展,传统产业的自动化和信息化提升以及人类正在被数字化的生活,海量数据已经逐渐将我们包围。数据的不断增长在给人们带来巨大价值的同时,也给人们带来了巨大的挑战。海量数据处理已经成为很多大型企业所关注的焦点。Web日志处理是海量数据处理中较受关注的一个领域,企业通过对Web日志的分析处理,不仅可以观察系统的运行状态,还可以统计出网站的访问量大小,访问的来源,用户的关注点,了解用户的使用终端,使用浏览器的类型,这些对改进系统的可用性及易用性具有很大的帮助。但同时日志又具有海量,复杂,难以读懂等特点,面对现在飞速增长的Web日志,传统采用单机来处理日志的方式已经逐渐满足不了人们的需求,如何高效率的从海量日志里挖掘出有价值的信息,这是本文的一个关注的问题。本文针对Web日志处理,选取了目前一种较为流行的技术Hadoop进行深入研究。Hadoop主要的组件包括HDFS和MapReduce。 HDFS是Hadoop集群提供的分布式文件系统,而MapReduce是一种分布式框架,通过这两者的结合,可以对海量的日志数据进行有效的处理。本文通过对Hadoop系统集群技术的研究学习,设计了一个基于Hadoop的日志处理模型,通过搭建了一个4个节点的Hadoop集群,对不同大小的日志数据进行处理。通过与单机系统处理结果的对比,论证了Hadoop系统在处理日志时的效率要高于单机。