这些年来,随着互联网规模的急速增长,对网络流量的监控与分析逐渐成为了一项重要的事情。由此产生海量数据的存储、计算和分析已经逐渐成为一个重大问题。对于网络流量的分析逐渐由单机转向了 Hadoop分布式系统。同时为了方便数据分析人员的使用,开发了基于传统MapReduce作业的Hive和Pig。但是随着快速与实时性数据分析的需求,陆续诞生了 Spark SQL和Impala等不同于传统MapReduce架构的脚本语言。但是对这些不同类型的大数据脚本语言的相关性能优化以及对比的研究还是较少的,无法充分发挥分布式系统分析网络流量的优势。因此本论文将对Hive和Pig,Spark SQL和Impala三种不同类型的脚本语言进行优化和横向上的对比。本文首先介绍了论文的研究背景和相关领域的研究现状。然后介绍了网络流量分析的现状,分布式系统网络流量分析的典型框架与使用分布式系统进行数据分析的原因。随后,从源码的角度介绍了MapReduce计算框架与Hive、Pig的架构。然后从几个常用的方面对Hive和Pig进行了优化,比如:合并小文件、中间结果输出压缩与Join优化策略,并对网络流量数据进行了分析与优化。接着,分析了Spark和Spark SQL的架构,Spark计算模型相对于MapReduce的优势,然后从内存管理的角度优化了 Spark SQL,比如:缓存的使用,StorageLevel与数据的序列化。然后从文件存储和文件格式的角度,比较了常见的几种文件格式(SequenceFile,RCFile与Parquet)与压缩方式(Gzip,Bzip,Snappy,Lzo)的优缺点以及适用的场景。从压缩方式的角度,分析了几种常见压缩格式的异同。最后,本文搭建了基于CDH5的网络流量分布式系统,选择了 7种常见的网络流量分析需求,构建了数学模型,从分析工具、文件格式、压缩方式三个维度,全面分析比较了这三种经典的大数据常用工具。