数据仍在爆炸性增长,大量数据产生于不同的行业。随着信息在企业生存所占的比重越来越多,从大规模数据中提取分析来支撑企业发展决策变得愈发重要,而数据仓库是分析海量数据所必备的工具。最近,数据仓库技术得到了极大提升,使得能够储存和处理非常大的数据集。中国一家领先的跨行结算机构看到了这个机会,正在寻找商业智能处理方案来处理已经积累了超过10年的大批量历史交易数据。虽然该机构在生产中已经应用了一个成熟的数据仓库解决方案HIVE(内置在Hadoop上的开源数据仓库),但是由于缺乏对系统的高级定制和优化,数据存储和处理的效率不是很理想。具体的来说,重叠的原始的数据集被物化到不同的数据表,这就引入了表间冗余。在数据表内对列的添加和改变也使得这些超过10年的历史数据集出现了不一致的形式,导致表内的冗余。而多个用户组拥有不同水平的需求,于是使用不同的处理引擎来访问数据集,从而导致跨平台的冗余和系统迁移困难。基于这些观察,我们对系统提出了一种优化设计解决方案,我们的设计优化对于所有用户是透明的。并且通过建立单一物理表减少了表间冗余,通过列编码减少表内冗余,同时反向植入一种跨平台行列存储格式,以进一步提高数据空间利用率和处理效率,并且能够使得数据可以访问多个处理引擎,从而减少跨平台冗余。这个系统也应用了基于工作量的分区和索引策略来进一步提升数据处理效率。我们在他们的系统上实现了我们的优化策略。同时,我们还提出了一个基于压缩选择的代价模型,能够有效的评估使用不同压缩策略产生的查询的成本。利用一天的历史交易数据进行了广泛的实验。实验结果表明在数据存储效率上有一个38倍的提升,在特定的查询工作中处理效率提升了 5倍。