随着移动互联网的高速发展,短视频作为一种新兴媒介正在影响着人们的文化生活,如何结合移动互联网将短视频的独特生态位优势给发挥出来从而塑造良性多元发展的内容产业生态是一个值得探讨的话题。伴随着市场的发展,短视频用户数据呈指数级别爆发式增长,使用传统数据仓库处理海量数据时会出现系统运行不稳定等情况,数据处理、分析和挖掘的效率已经不满足企业的需求。针对该问题,并且结合短视频的业务特点,设计并实现一个性能稳定、易用性强、扩展性高的基于海量数据的短视频业务数据仓库系统。该系统可以分为数据处理、数据建模和可视化三个功能模块。数据处理模块中使用Apache Hadoop分布式文件系统HDFS来存储海量数据,保证数据存储的稳定性和可靠性;使用Spark框架作为底层计算引擎,保证系统计算的易用性和时效性;同时使用Hive数据仓库工具来简化数据处理过程。数据建模模块中使用Kimball维度建模理论结合数据分层和指标命名规则解决互联网企业业务需要快速迭代的问题,保证了数据质量、明确了数据结构。可视化模块中使用企业自带的风神可视化界面通过核心指标展示数据的变化趋势,提供给用户制定决策的依据。最终建立了统一、规范、高可用的基于海量数据的短视频数据仓库系统,本系统已经在企业中线上运行,得到了行业的一致认可。通过对核心数据的分析,管理决策人员不断调整产品布局,开发人员不断进行短视频应用的迭代,使得公司的业务快速发展,用户体验不断提升。