社交媒体大数据的朴素贝叶斯分类方法研究

来源 :湖南大学 | 被引量 : 0次 | 上传用户:jackind
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
社交媒体大数据分类对于热点新闻事件的发现、个性化推荐、舆情监控及垃圾信息过滤、品牌提升等方面都有重要的实用价值。大部分社交媒体以文本为主,即使是图像、视频、音频等多媒体社交数据,也有相应的文本标记或通过多媒体信息检索得到相应的文本描述,因此,本文主要对文本型社交媒体大数据的分类方法展开研究,并对伯努利型和多项式型朴素贝叶斯文本分类方法进行了相应的改进。首先,介绍文本型社交媒体大数据分类的基本原理和相关技术,包括社交媒体大数据中的文本信息表示方法、朴素贝叶斯分类过程和分类器的基本结构、特征选择方法和Hadoop平台等,并从贝叶斯公式出发,对朴素贝叶斯文本分类的原理进行了详细的分析。其次,针对特征项服从伯努利概率模型的社交媒体大数据朴素贝叶斯分类,在分析朴素贝叶斯文本分类原理的基础上,提出了通过特征项规范化处理、让“正方”特征项参与运算、调整平滑参数的方式对其进行改进的方法。改进后的伯努利型朴素贝叶斯分类方法的分类速度有了较大提高,并且在样本不均匀情况下分类性能也有所提高。最后,针对特征项服从多项式概率模型的社交媒体大数据朴素贝叶斯分类,在TF-IDF算法中,通过引入IDF对数函数自变量的系数,给有益于分类的特征项赋予更高的权重,并归一化特征项权重,对多项式型朴素贝叶斯分类方法进行改进。在MapReduce框架下,根据朴素贝叶斯分类过程和相关计算公式,对改进的多项式型朴素贝叶斯分类方法进行了并行化实现。实验结果表明,本文提出的并行化多项式型朴素贝叶斯分类方法是有效的,并且具有一定的可扩展性和可靠性。
其他文献
19世纪末20世纪初既是美国历史上一个具有关键意义的转折时期,也是美国历史上政治腐败的高峰期。贪污受贿、收取回扣、巧取豪夺、偷盗欺诈、内部人交易等形形色色的丑闻充斥
介绍了食用型向日葵在黄旗镇的发展优势,主要包括适宜的生长期、适合的土壤条件、简单易学的栽培技术、较强的抗旱性和耐涝能力、较强的抗病能力、较高的经济效益、增加土壤
随着市场经济的蓬勃发展,企业存在的问题也慢慢暴露出来,在优胜劣汰的环境中很多企业没有坚持下来。企业经营失败的原因有很多,其中内控制度不完善、企业对内控不重视和企业
藻类作为水生生态环境中最重要的初级生产者,其光合作用过程对外界环境胁迫十分敏感,因而藻类常作为模式生物用来评价污染物的环境生物效应。纳米材料是具有特殊功能、用途广泛的一类新型材料,其生物效应研究受到研究者的广泛关注。纳米颗粒排放到水环境后,可与表面活性剂等水环境中广泛分布的污染物组成复合污染体系,而目前,关于纳米颗粒及其复合污染体系对藻类的光合毒性机理尚不明晰。因此,从藻类光合响应的角度来研究纳米
词汇教学是外语教学中很重要的一部分,对于中国英语学习者来说,同义词和同义短语辨析一直都是重难点。近年来,随着语料库语言学的兴起,许多学者开始利用语料库从搭配及语义韵
<正> 对于战后美国战略的演变过程,由于着眼点不同,依据不同,因而不同的划分突出的重点和带有的色彩也不完全相同。笔者认为对此可以围绕国家战略、军事战略、核战略三个不同
<正> 一、电子膨胀阀自石油危机以来,不论陆用还是船用制冷装置,都特别强调节能化.因此,构成制冷装置的压缩机、热交换器及风机等,每年都有许多改进.膨胀阀在制冷循环中起着
岭南少数民族女政治家冼夫人一生历经梁、陈、隋三代,一生的功绩在于她终生致力于维护朝廷在岭南的统治,促进民族团结。她一生功绩彪炳,其中,与汉族官员冯宝的联姻成为她一生
"五押"是辽代西南边区特有的一种职官,一般由西南面招讨使兼任。"五押"实际上就是"押五蕃落使"的省称,专门负责管押辽西南边疆的五个部族。
随着新中国的发展,经济水平世界瞩目,人们的生活与消费也变得越来越好。随着医疗、卫生水平的进步,我国人口年龄结构逐渐开始呈现老龄化特征。人口老龄化作为不可逆转的社会趋势,也为社会经济发展带来一系列影响,而房地产产业作为一项国民支柱性产业,不可避免会受到人口结构老龄化的影响。在我国人口年龄结构转变的大背景之下,中国人口渐渐进入“刘易斯拐点”,人口红利慢慢向人口负债转变,对房地产市场的供给与需求产生冲击