论文部分内容阅读
摘 要：随着Hadoop平台的日益完善，其应用范围越来越普及，但仍然存在诸多影响性能的问题，比如调度算法中Hadoop配置对象开销大、MapReduce阶段中排序对象的序列化及反序列的高开销问题。本文针对以上问题，提出解决方案。
关键词：Hadoop云平台；优化策略
1 研究背景
由于具备低成本和前所未有的高扩展性，Hadoop已被公认为是新一代的大数据处理平台。Hadoop正带来了新一轮的数据革命。虽然hadoop的应用价值已得到广泛认可，但其有诸多问题依然制约着hadoop的发展，优化hadoop性能主要可以从以下方面着手：
1.1 应用程序优化
考Hadoop云平台优化策略研究高效率的应用程序。
1.2 Hadoop参数优化
这种优化方法要结合操作协同层面的调优，对hadoop系统的诸多配置参数进行优化调整，使hadoop作业运行速度更快。
1.3 系统实现优化
这是源码级的优化，针对hadoop框架及实现机制中不合理的地方进行优化，优化难度大，效果也比较明显。
本文主要针对hadoop存储及系统实现中的几种高开销问题进行了研究并提出了改进措施。
2 存在的问题
2.1 Hadoop的Configuration开销大
Hadoop的Configuration的配置需要花费大量的时间，hadoop把对象的信息按照hashmap的方式存在于一个xml的配置文件中，读取、解压、分析均来自这一个磁盘的xml文件，这严重影响了IO性能，另外当取对象时需要去调用get（）方法，而get（）方法的参数会也会引起正则表达式计算和变量替换，这也需要耗费资源。如果对多个对象读取，上面的步骤通过循环语句去实现的话，性能更是将大打折扣。当对象很多的情况下hadoop花费30%用来配置对象。
2.2 中间压缩结果包含很多无用数据
spill线程中的压缩和解压缩操作会消耗消耗了大量时间，并且中间结果是临时的。如果使用lz4方法取代lzo level 3，可以减少了30%多的中间数据，并使其能被更快地读取。
2.3 hadoop中对对象序列化和反序列化消耗太高
对对象的序列化和反序列化是Hadoop Job中开销最高的操作，特别是对于那些进场使用并且复杂、非主键的key。在hadoop中需要将两个对象进行比较，通常的做法是对这些对象反序列化后再进行比较，但是反序列化是一个耗时的工程。下图1是极端情况下通过java-xprof工具检测得到的结果。
3 解决方法
传统的数据读写是按照row-oriented方式读写，也就是顺序读取存储，这样的方式优点是读写相对容易速度也相对较快，但缺点也是相当明显的就是每次读取都读写了一些无用的数据，并且文件的存储量也相对教大。传统存储的抽象图如图2和图3所示。
解决方法是将record顺序存储的方式改为面向列的数据格式。它遵循“先按列划分，再垂直划分”的设计理念。当查询过程中，针对它并不关心的列时，它会在IO上跳过这些列。也就是按需在磁盘上存取，这种面向列的数据读取方式被称为Parquet，下图4和图5说明了这种存取方式。
对比图2和图3由可以看出Parquet是面向列的存储，它使得同类型的字段被顺序排在一起。那么这种存储有什么好处呢，好处就是按列存储，可以有效地进行列投影，并且在进行反序列化的时候可以只反序列化需要的列。这样就大大缩减了因为反序列化消耗的时间，除此之外，存储的文件也会相应的减小很多，可以达到原来文件的一半。图6是了采用面向列存储后对某一列投影的示例图。
下图7是采用Parquet技术后，对比传统存储方式，使用java-xprof技术对hadoop运行效率做了一个跟踪对比，从图中可以看出当只有1字段时，Parquet存储方式是传统基础速度的3倍，当有10字段的时候是传统技术的1.5倍，速度提高明显。
4 总结
本文针对hadoop性能调优三种方法中的存储及系统实现进行了研究分析，提出了将row-oriented存储改进为Parquet存储，实验证明改为面向列的存储对系统性能的提高是有效的，但是从图7中可以看出随着列的增加，这种性能优势在降低，后续将针对这一情况进行深入的研究，完善这种技术。
参考文献
[1]刘鹏.云计算（第二版）[M].北京：电子工业出版社，2011.
[2]浅析Hadoop文件格式.[EB/OL].http：//www.infoq.com/cn/articles/hadoop-file-format，2012-5-28.
[3]探究提高Hadoop稳定性与性能的方法 [EB/OL].http：//dongxicheng.org/mapreduce/how-to-improve-hadoop-stablility-and-performance/，2013-12-29.
[4]王宏宇.hadoop平台在云计算中的应用[J].软件，2011，（4）：36-39.
[5]黄晓云.基于HDFS的云存储服务系统研究[D].大连海事大学，2010.
[6]王永洲.基于HDFS的存储技术的研究[D].南京邮电大学，2013.
[7]高蓟超.Hadoop平台存储策略的研究与优化[D].北京交通大学，2012.
关键词：Hadoop云平台；优化策略
1 研究背景
由于具备低成本和前所未有的高扩展性，Hadoop已被公认为是新一代的大数据处理平台。Hadoop正带来了新一轮的数据革命。虽然hadoop的应用价值已得到广泛认可，但其有诸多问题依然制约着hadoop的发展，优化hadoop性能主要可以从以下方面着手：
1.1 应用程序优化
考Hadoop云平台优化策略研究高效率的应用程序。
1.2 Hadoop参数优化
这种优化方法要结合操作协同层面的调优，对hadoop系统的诸多配置参数进行优化调整，使hadoop作业运行速度更快。
1.3 系统实现优化
这是源码级的优化，针对hadoop框架及实现机制中不合理的地方进行优化，优化难度大，效果也比较明显。
本文主要针对hadoop存储及系统实现中的几种高开销问题进行了研究并提出了改进措施。
2 存在的问题
2.1 Hadoop的Configuration开销大
Hadoop的Configuration的配置需要花费大量的时间，hadoop把对象的信息按照hashmap的方式存在于一个xml的配置文件中，读取、解压、分析均来自这一个磁盘的xml文件，这严重影响了IO性能，另外当取对象时需要去调用get（）方法，而get（）方法的参数会也会引起正则表达式计算和变量替换，这也需要耗费资源。如果对多个对象读取，上面的步骤通过循环语句去实现的话，性能更是将大打折扣。当对象很多的情况下hadoop花费30%用来配置对象。
2.2 中间压缩结果包含很多无用数据
spill线程中的压缩和解压缩操作会消耗消耗了大量时间，并且中间结果是临时的。如果使用lz4方法取代lzo level 3，可以减少了30%多的中间数据，并使其能被更快地读取。
2.3 hadoop中对对象序列化和反序列化消耗太高
对对象的序列化和反序列化是Hadoop Job中开销最高的操作，特别是对于那些进场使用并且复杂、非主键的key。在hadoop中需要将两个对象进行比较，通常的做法是对这些对象反序列化后再进行比较，但是反序列化是一个耗时的工程。下图1是极端情况下通过java-xprof工具检测得到的结果。
3 解决方法
传统的数据读写是按照row-oriented方式读写，也就是顺序读取存储，这样的方式优点是读写相对容易速度也相对较快，但缺点也是相当明显的就是每次读取都读写了一些无用的数据，并且文件的存储量也相对教大。传统存储的抽象图如图2和图3所示。
解决方法是将record顺序存储的方式改为面向列的数据格式。它遵循“先按列划分，再垂直划分”的设计理念。当查询过程中，针对它并不关心的列时，它会在IO上跳过这些列。也就是按需在磁盘上存取，这种面向列的数据读取方式被称为Parquet，下图4和图5说明了这种存取方式。
对比图2和图3由可以看出Parquet是面向列的存储，它使得同类型的字段被顺序排在一起。那么这种存储有什么好处呢，好处就是按列存储，可以有效地进行列投影，并且在进行反序列化的时候可以只反序列化需要的列。这样就大大缩减了因为反序列化消耗的时间，除此之外，存储的文件也会相应的减小很多，可以达到原来文件的一半。图6是了采用面向列存储后对某一列投影的示例图。
下图7是采用Parquet技术后，对比传统存储方式，使用java-xprof技术对hadoop运行效率做了一个跟踪对比，从图中可以看出当只有1字段时，Parquet存储方式是传统基础速度的3倍，当有10字段的时候是传统技术的1.5倍，速度提高明显。
4 总结
本文针对hadoop性能调优三种方法中的存储及系统实现进行了研究分析，提出了将row-oriented存储改进为Parquet存储，实验证明改为面向列的存储对系统性能的提高是有效的，但是从图7中可以看出随着列的增加，这种性能优势在降低，后续将针对这一情况进行深入的研究，完善这种技术。
参考文献
[1]刘鹏.云计算（第二版）[M].北京：电子工业出版社，2011.
[2]浅析Hadoop文件格式.[EB/OL].http：//www.infoq.com/cn/articles/hadoop-file-format，2012-5-28.
[3]探究提高Hadoop稳定性与性能的方法 [EB/OL].http：//dongxicheng.org/mapreduce/how-to-improve-hadoop-stablility-and-performance/，2013-12-29.
[4]王宏宇.hadoop平台在云计算中的应用[J].软件，2011，（4）：36-39.
[5]黄晓云.基于HDFS的云存储服务系统研究[D].大连海事大学，2010.
[6]王永洲.基于HDFS的存储技术的研究[D].南京邮电大学，2013.
[7]高蓟超.Hadoop平台存储策略的研究与优化[D].北京交通大学，2012.