基于Spark的文本情感分析研究

来源 :西北师范大学 | 被引量 : 0次 | 上传用户:gwj19861113
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着社交平台的快速发展,数据增长迅速;如何利用这些海量的数据,挖掘有用的情感信息,对海量的文本数据进行情感分类成为研究热点。传统的方法是在单机上实现分类算法来提取有价值的情感信息,但是它的缺点是不仅需要大量的执行时间,而且在单机环境下不能满足日益增长的数据处理需求。云计算的出现和发展为解决海量数据下的情感分类任务提供了新的方法,弥补传统单机计算上的不足,满足海量数据处理的需求。本文基于Spark平台对文本情感分析问题进行研究,对传统的文本情感分析算法中的朴素贝叶斯方法进行改进,旨在提高文本分类算法的效率和精确度。本文的主要内容有:(1)改进了朴素贝叶斯算法。本文分析了传统的朴素贝叶斯分类算法,总结出该算法的优势和不足,研究了朴素贝叶斯条件属性独立性假设的影响。然后提出了基于欧氏距离的加权朴素贝叶斯分类算法,利用欧氏距离对属性加权,对分类算法进行改进。(2)并行了朴素贝叶斯算法。在搭建好的云计算平台Spark集群环境之上,对算法进行并行化实现。实验结果表明,改进后的基于Spark云计算平台的朴素贝叶斯算法能够有效的提高算法的分类效率,大大减少训练的执行时间,并且在一定程度上比传统算法提高了准确率。
其他文献
关于时间,我们有太多的疑问,比如过去的事情就不再有了吗?未来是不可预期的吗?现在存在吗?时光的流逝是不可逆转的吗?什么是永恒?它与时间的关系如何?本文以藏传大圆满传统的
会议
本文总结了运用Seldiner法锁骨下静脉双腔留置导管作为血液透析通路,为12例急慢性肾功能衰竭患者进行血液透析的经验。作者认为锁骨下静脉双胜留置导管血液透析的优点很多,首先
在全球化的推动下,各国间的沟通与交流活动日益紧密,新闻传播活动也日益频繁。国与国之间的新闻传播不再限于官方的政治、经济话题,体现社会民情、反映社会风貌的软新闻地位也渐渐得到重视。因此,软新闻翻译的重要性也不言而喻。软新闻是新闻文本中的一种特殊体裁,是兼具人情味、知识性和趣味性且易引发读者共情的延缓性新闻。其新闻内容广泛,语言表达灵动,受众面广,这些既是软新闻的亮点,同时也是软新闻翻译的难点。目前国
精神病人暴力行为,具有分布的广泛性、时间地点的不确定性、目标随意性和残忍性,严重侵犯公民的人身、财产权利,影响社会公共安全。精神病人暴力行为的产生有着复杂的社会、
随着社会的加速发展,我国高职航海教育也面临着诸多问题与挑战。通过分析新形势下高职类航海学生所表现出的学习动力缺失、专业兴趣不高、从业意愿降低、忠诚度不足、服从意
文化是促进国家发展的生产文化,是传承文明的精神文化。继十八大以后,习总书记的文化强国思想有了更系统的发展。随着十九大的召开,习近平关于建设社会主义文化强国重要论述相关研究更加完善,它是完成民族伟大复兴,实现中国梦的必然选择,是对中国文化建设理论体系的进一步完善和提升。习总书记自党的十八大以来,曾多次就文化强国建设及其相关问题给出一系列新思路、新理论,并逐渐健全了自身文化建设思想体系,在今后一段时期
近些年以来,我国逐步加大了对农村的开发和研究。当前正处于扶贫开发和全面建成小康社会的关键时期,针对全国的贫困县、贫困村,在扶贫开发,脱贫、减贫过程中存在一刀切的现象
一门课程的学习,总是以能否正确、迅速、简洁地解答问题为检测方式。高考莫不以此选拔人才。学好数学的基础知识,强化基本技能固然是取得好成绩的必备条件,然而答题的策略在
目的:Rufy3蛋白参与细胞迁移、肌动蛋白细胞骨架的运动、脂质修饰、膜转运和细胞信号转导等多种细胞活动过程的调控。有研究表明,p21活化激酶(PAK1)可以促进Rufy3的表达且协