微博热点话题发现方法研究

来源 :南京师范大学 | 被引量 : 0次 | 上传用户:red0035
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博自诞生以来就以其广泛的参与性,改变了人们获取新闻的方式,近年来许多的热点新闻都是通过微博首先发布的,因此对微博进行热点话题挖掘具有重要的现实意义。但微博信息量大、信息分散等特点使得传统文本处理的方法已不能适应于微博信息的处理,如何快速、准确地发现微博热点话题是本文研究的内容。本文在分析微博信息特点的基础上,使用文本聚类方法提出了一种发现微博热点话题的方法,取得的成果如下:(1)提出了一种微博预处理的方法。根据微博内容上的不同分为原发、转发和评论微博,将转发和评论微博合并到原发微博中。微博与其它文本不同的一个特点是存在大量的转发与评论,它们都是源自原发微博,因此将转发和评论微博合并到原发微博可以在不影响热点话题发现结果的基础上减小微博文本表示的规模;此外,微博热点话题的形成主要是由于用户对该话题进行大量的转发和评论,将转发和评论微博合并到原发微博可以形成预热点话题。(2)提出了降低微博文本空间向量表示维度的方法。针对微博中存在大量干扰词的情况,本文借鉴微博平台上的词频统计方法,在微博文本经过分词、去停用词后,统计文本中每个词汇出现的频率,将频率低的词汇去掉,这样既去掉部分干扰词,又降低微博文本向量空间表示的维度。(3)提出了基于预选热点话题和时间窗口限定的单遍聚类与层次聚类相结合(TW-SPHC)的算法,对微博文本进行聚类。针对微博热点话题存在大量转发和时间相近的话题相似性高的特点,本文在单遍聚类前根据微博合并权重预选热点话题,并设定时间窗口以限定文本比较规模,这样可以在线性时间内完成单遍聚类;利用凝聚式层次聚类可以将内容相似的话题尽可能合并;在两次聚类间将孤立话题簇删除。通过以上方法可以得到各个话题簇,之后按照话题簇的权重排序即可得到热点话题。(4)将上述方法加以实现,并对算法的性能进行研究。通过实验验证了本文所提出的方法能够在数据量非常大的微博中准确、快速地识别热点话题,具有一定的应用价值。
其他文献
点景人物是山水画里一种特殊的存在,是介于人物画和山水画之间一种特殊的表现形式,它虽表现的是人物形象,却是依附山水画而存在。这些“小小”的人物以各种姿态游走在千岩万
<正>广西壮族自治区地方税务局稽查局通过把握稽查工作内在规律,大力破解稽查工作难题,做强省级稽查局,做实市级稽查局,有力提升了稽查工作质效。一是科学开展稽查绩效管理。
<正> 中日两国是一衣带水的友好邻邦。两千年来,中日文化交流源源不断。在这奔流不息的历史长河中,日本人对我国戏曲的介绍和研究,堪称一支绚丽的支流。几百年来,它由附庸而
南京仙林大学城作为全国最大的大学城,以一种全新的办学模式和不同凡响的经济效应受到人们的普遍关注。无论从文化、科技、人才还是环境的角度来说,仙林地区都有着较强的优势
晚清民国是焦作地区由传统社会向现代社会转变的关键时期。焦作煤炭储量丰富,煤炭开采在日常生活中占据重要地位。十九世纪末,英帝国主义通过强权获得了在怀庆府治内的开采权
光正交频分复用(OFDM)技术由于其在频谱利用率、色散容忍性等方面的优势受到广泛关注,已经作为一种新型的调制和频域复用技术被广泛应用于光通信。光OFDM技术可以有效克服多模光
铜是动物体内一种必需的微量元素。可有效维持机体内环境的稳定,其与造血、新陈代谢、生长、繁殖等重要生命活动密切相关。铜还参与构成动物体内重要的抗氧化系统,是多种抗氧
序言胆管癌作为常见的胆道恶性肿瘤,是继肝癌之后的第二大原发性肝胆恶性肿瘤,由于其解剖位置,生长特点以及缺少确切的诊断标准使其早期诊断困难,而临床症状的不明显及有限的治疗
现代物流公司仓库内存放货品种类繁多,数量巨大,存在极大的火灾风险,为有效控制火患,需要采用高效先进的火灾预警系统。随着计算机技术、信息技术和控制技术的高速发展和广泛应用