随着我国广电信息技术与产业的快速发展,广电节目内容与视频服务日益丰富。为了避免大屏电视交互中用户发现和匹配个性化内容效率低的难题,贵广网络拟充分利用大数据与人工智能技术,打造广电专属的智能推荐系统。智能推荐系统的建立基于庞大的数据,通过大量的数据分析发现用户偏好,针对用户偏好进行个性化内容推荐,以提升用户体验,增强用户粘度。传统的关系型数据库Mysql、Oracle已经无法满足庞大的数据存储和数据分析的需求。随着NoSQL数据库的出现,为海量数据存储和处理提供了坚实的保障。所以鉴于广电智能推荐系统中对数据存储和数据分析的迫切需求,有必要建立一套专属于广电智能推荐应用的存储体系。本文主要研究如何利用分布式存储和分布式计算技术为贵广打造一套专属的推荐应用存储体系。基于推荐应用的架构,对历史数据和实时数据采用不用的存储和计算方式。结合HDFS高容错、高可扩展性和适合批处理等特点,将一段时间内积累的大量历史数据放入HDFS存储,利用离线计算框架MapReduce进行离线模式的数据处理;针对流式数据,选用HBase进行存储,同时添加Kafka消息中间件作为数据的转发,使整个系统组件更加简洁,接着利用SparkStreaming流式处理框架处理实时数据,进行一些数据统计工作。不管是分布式存储还是分布式计算,这类大数据技术具有良好的集群扩展能力,并且即使少量节点发生故障对整个系统的影响也会很低,具有良好的稳定性。除此之外,这些大数据组件可以部署在普通的PC机上,可以有效控制部署设备成本。本文对面向广电智能推荐应用存储体系的设计和实现过程做了详尽细致的阐述,基于分层化的设计和集群服务的特点,最终为贵广提供一个支持高并发的、可扩展的、低能耗、可靠的分布式数据存储和处理系统。在项目实现过程中并做了针对性的存储优化,主要包括:(1)HDFS小文件存储;(2)HBase热点问题;(3)集群服务状态中的多线程资源共享问题。通过对这三个问题深刻剖析找到解决方案,并通过实验说明技术方案的可行性。最后对系统进行功能和性能的测试,证实系统的可实施性。