论文部分内容阅读
随着互联网和计算机技术的不断发展,电子商务极大的改变了人们的生活方式。面对各大电商平台上丰富多彩的物品,如何将物品高效的“匹配”给需要它的用户成为一个难题。解决上述问题不可或缺的工具是推荐系统,巨大的购买能力和购买需求给了推荐系统工业价值。但是传统的推荐技术难以有效的解决数据稀疏性、冷启动、推荐实时性等问题,此外,在大数据背景下推荐系统的工程实施也一直是领域内的研究难点与热点。为了解决上述问题,依托深度神经网络在智能推荐领域的广泛应用,本文首先提出了一个利用长短期记忆(Long Short-Term Memory,LSTM)网络和多层感知机(Multi-Layer Perceptron,MLP)的深度神经网络模型,缓解评级矩阵稀疏性问题、用户与项目冷启动问题。然后使用侧面情感联合模型(Aspect and Sentiment Unification Model,ASUM)挖掘用户的情感主题调整推荐列表顺序使得推荐更加个性化。最后,在所提出的的推荐模型基础上,结合大数据技术设计实现演艺交易系统。本文的主要工作包括以下内容:(1)提出了一个特征融合的深度神经网络模型(Feature Fusion Deep Neural Network,FFDNN)。该模型首先构造并填充用户-项目评级矩阵,并且使用矩阵分解技术分解评级矩阵,然后融合用户、项目的描述信息分别构造用户与项目的特征向量;使用LSTM处理用户特征向量和项目特征向量生成有效的潜在特征,挖掘用户和项目之间的潜在关系,有效缓解了评级矩阵稀疏问题和用户冷启动、项目冷启动问题;利用MLP对LSTM生成的潜在特征进行降维,提升模型的非线性建模能力,并根据MLP的网络输出预测用户和项目的相关性,将预测出的关联程度评分作为依据产生推荐列表,完成推荐。文中给出了具体模型设计并在公开数据集上对比其他模型,结果显示本文提出的模型预测准确度更高。(2)实现了ASUM模型并使用模型处理用户评论信息,提取用户情感主题概率分布。具体包括构造ASUM语料库并进行评论分析,挖掘用户对各个项目主题的喜恶,与FFDNN模型产生的预测结果进行计算,调整FFDNN模型生成的推荐列表顺序,产生新的推荐结果给用户。(3)基于提出的算法模型设计并实现了一个演艺交易系统(下文简称为演艺通),该系统是一个将演出活动作为商品进行交易的电子商务平台,很好的展示了算法的实际使用价值。面对井喷式不断增长的非结构化数据,传统关系型数据库处理数据过程复杂、效率低下,本文通过在HBase数据库中设计基于二级索引的信息存储模式,根据实际需要组合任意字段加快查询速度;为了保证推荐效果的实时性,使用大数据实时计算框架Spark Streaming处理数据。