【摘 要】
:
随着移动互联网和网络带宽的高速发展,多媒体已经走进了千家万户,丰富了人们的精神生活。视频的发展也从逐渐从PC端转移到了移动端,人们和视频的交互方式也产生了翻天覆地的变化。本论文主要从用户评论的采集和分类这两个部分对视频评论开展研究。由于每天网站上出现的以视频评论数量为主的用户评论呈指数级增长,而目前用户评论数据采集没有一套完整的分布式爬虫系统架构,因此本文构建了一套基于分布式爬虫的视频弹幕爬取系统
论文部分内容阅读
随着移动互联网和网络带宽的高速发展,多媒体已经走进了千家万户,丰富了人们的精神生活。视频的发展也从逐渐从PC端转移到了移动端,人们和视频的交互方式也产生了翻天覆地的变化。本论文主要从用户评论的采集和分类这两个部分对视频评论开展研究。由于每天网站上出现的以视频评论数量为主的用户评论呈指数级增长,而目前用户评论数据采集没有一套完整的分布式爬虫系统架构,因此本文构建了一套基于分布式爬虫的视频弹幕爬取系统。首先根据海量评论数据的需求特点设计了主控爬虫以及日志模块,日志模块用于爬虫系统的调试以及数据恢复工作,主控爬虫则负责任务的调动以及整个爬虫系统的状态监控。接着分别根据数据采集的需求,分别设计了剧集爬虫、单集爬虫、评论爬虫,为后面的用户评论分类打下坚实的基础。此外,本文进一步针对评论的用户情感分类进一步实现了用户评论分析系统,该系统对爬取的评论进行分析、预处理、主题词提取、词向量化、情感分类的工作,实现了对评论的用户情感分析。在用户评论预处理方面,本文采用了jieb分词包对用户评论进行了分词,并过滤了相应的停用词。接着通过TF-IDF对用户评论的主题词进行了提取,借此来显示每个评论的核心主题。然后通过对用户评论的词向量化实现用户评论分类系统的分类。词向量化模型首先通过嵌入层将用户评论映射成相应的词向量,以及构建针对用户评论的分类网络,该网络主要包含平坦层、隐藏层、输出层。根据实验结果显示,本系统所使用的方法能够有效的学习用户评论中有效的特征信息,从而对相应的用户情感分类起到良好的分类作用,相对传统系统准确率至少提升了7.11%,达到了82.79%。
其他文献
“学科教育学”是一个正在兴起的教育学领域,它的研究对象是学科教育。从经验、知识与学科的关系上分析,“学科教育学,,研究的学科应该既不是纯知识体系的学术学科,也不是研究学校
三(山岛)-仓(上)构造带处于山东招(远)-莱(州)金矿集中区西北部,该断裂带已发现三山岛金矿、新立金矿和仓上金矿3个大-特大型蚀变岩型金矿,总储量己超百吨,该构造带及已知矿
运用植物数量性状主基因+多基因混合遗传模型多世代联合分析的方法,对普通玉米自交系R08与A318杂交组合的P1、P2、F1、F2:3、B1:2和B2:2 6个世代群体的种子休眠性进行了分析。结果
纳米晶体材料,具有卓越的物理和力学性能,日益引起广泛关注。然而,在很多情况下,纳米晶体材料具有超高的强度、硬度和良好的耐磨损性能,同时表现出很低的拉伸延性和断裂韧度
1中学物理中的质量概念在中学物理课本中,质量的概念是“物体中含有物质的多少”;牛顿在《自然哲学之数学原理》中对“质量”的定义是“物质的量是物质多寡之量度”。可见,中
多环芳烃污染是有机污染中最常见的一种,也是对人体危害较大的一种。了解多环芳烃的污染来源,及防治措施.对减少化学污染,提高人类生存质量有着非常重要的意义。
发表于2006年9月《环境研究》(Environmental Rese-arch)的一篇论文披露,目前一些亚洲国家市场上的家用涂料含铅量较高。在中国、印度、马来西亚和新加坡出售的内墙涂料中,发
2018年10月26日,《全国人民代表大会常务委员会关于修改〈中华人民共和国刑事诉讼法〉的决定》由十三届全国人大常委会第六次会议通过,并公布施行。这是我国刑事诉讼法继1996年
对于几何题,初中学生多半都感到很恐惧:一道题目出来很多学生感觉无从下手,一点思路也没有.其实,在几何的教学中除了主要向学生渗透分析法和几何法,还应该引导学生注意几何题中的“
随着经济的发展以及人们生活水平的不断提高,人们对于日常生活的质量的要求也越来越高。人们日常生活中对电量的消耗在不断的增加,对于配网的电力负荷也逐渐加大。为了减轻负