基于Hadoop的大数据运营系统

来源 :科学技术创新 | 被引量 : 0次 | 上传用户:jwc4542
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代的电商行业对数据的需求日益剧增,数据可对电商企业的发展和规划起到极大的指导作用,采用Hadoop分布式大数据处理框架,实现了对商品的个性化推荐提升商业效益。提出以Hadoop HDFS作为存储系统,对用户历史数据进行存储。对原数据进行去重和补偿后使用Spark提供的MLlib中的协同过滤来计算推荐结果,并基于用户的协同过滤和交替最小二乘法两种算法来实现部分推荐结果。能够达到直观展示大数据处理、亚秒级实时推荐的良好效果。
其他文献
古镇街区是人们旅游和休闲的重要场所,其热环境关系着游玩人群的热舒适和旅游体验。以某古镇街区为对象并布置测点,对其室外空气温度、相对湿度、风速和噪声进行了实测。研究结果对南方古镇街区的热环境研究和改善具有一定的参考意义。
近年来,中国经济发展迅速,交通运输数量和金额量持续增加,每年桥梁数量都会增加,桥梁伸缩缝日益突出。在这里,伸缩缝引起的混凝土裂缝更为普遍,并会导致其他相关疾病的发生。桥梁伸缩缝损坏后,连接的缝隙会下沉,并且接缝处的路面也会损坏,从而导致过往车辆出现跳车,使车辆上的人感到不舒服,同时影响行驶速度。以扬州城市南部快速通道桥梁伸缩缝工程为例,对桥梁伸缩缝施工技术与养护方法进行阐述,最终目的是增强行车安全性,确保工程的安全质量。
针对城市交通交叉口配时不合理,易造成堵塞,不必要等待的问题,提出一种基于长短期记忆人工神经网络与SUMO仿真的交通信号灯配时优化方法。该方法首先利用SUMO模拟十字路口的车流量,并设置了与通行能力、平均等待时间、和损失时间相关的特征函数,通过大量的模拟,生成以路口状况为输入,最佳配时为输出的训练集数据。建立LSTM(长短期记忆人工神经网络),对于数据集进行训练,得到网络模型。最后经过对比实验,该方法的优化能力比传统的模糊控制算法更强。