2011年,随着国内互联网带宽的提升和视频用户普及率的大幅增加,视频行业获得了大量投资者的介入,迎来了一个爆炸式的增长。2012年是视频行业发展的一个转折点,如何能够在激烈的竞争中扭亏为盈是每家视频企业的核心指标。在这个基础上,企业对于自身核心数据的挖掘分析的需求也日益严苛。本文通过对一家大型视频企业数据平台架构的分析,发现现有平台存在的一些问题以及系统瓶颈。为了解决发现的这些问题,从两个方面出发,一方面对国内知名的三家企业的数据平台架构进行了研究,分析了这三家企业的架构的特点及创新部分,另外一方面从不同工作人员的角度获取他们对于数据平台的需求,本文设计了一套基于hadoop开源软件的日志分析系统,该系统具有高可用架构,并且具备日志清洗,流式日志收集和分析等功能模块。本文详细的描述了这一系统中不同模块所使用的开源解决方案及其配置,并且对部分模块中的技术难点提出了解决方案。最终,对于这套设计方案的整体设计理念进行了总结,并且指出了其中的一些不足,并对系统未来改进的方向进行了一些展望。