网络短文本话题发现与趋势预测研究

被引量 : 7次 | 上传用户:seanstarseanstar
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着Web2.0技术的发展,互联网用户不再只是简单的信息获取者,而同时成为信息制造者。社交媒体的快速发展,加速了用户的这种身份转变,并形成了自媒体社交群体。由于社交媒体方便、实时的特点,用户制造的信息以短文本为主,并且其数量达到了十亿级以上。随着信息的急剧增长,用户的需求从最初的获取大量信息,变成对信息进行有效的筛选和整合。针对此需求,本文研究并实现了一个短文本话题挖掘系统,首先,在对网络短文本进行预处理的基础上,利用聚类分析技术将相似话题的文本聚类到一个话题簇中。然后,基于提出的话题挖掘模型,实现了网络短文本热点话题发现和趋势预测。经过对网络短文本的聚类分析和话题挖掘,复杂无序的文本整合为完整的话题描述呈现给用户。本文主要工作和创新点如下:首先,研究并实现了一种短文本语义距离计算方法。该方法考虑到短文本的词语和词语结构对文本的语义表达的影响,将语义距离看作是单元语义距离和形式距离的综合。首先,以词为单位,利用《同义词词林扩展版》进行语义扩展,计算短文本的形式距离。其次,基于短文本中的实义单元和非实义单元的不同作用,利用改进的编辑距离算法计算短文本的单元语义距离。最后,利用加权的方法将形式距离和单元语义距离综合为语义距离,并将其应用于网络短文本聚类分析。实验结果表明,改进算法优于传统方法,聚类性能显著提升。其次,本文提出了一种基于文本实义词长度的短文本距离惩罚算法。利用实义词长度对文本距离进行惩罚,以缓解短文本长度差异所造成的计算误差。并根据Zipf s La’w和Heaps Law的对价关系,给出了一种文本中实义词长度的估计方法,提炼出对文本长度进行惩罚的量化依据。实验结果证明,基于实义词长度的短文本距离惩罚算法要优于基于短文本词语长度的惩罚算法。最后,对聚类分析得到的话题簇进行话题挖掘,话题挖掘包括话题发现和趋势预测。话题发现通过分析话题簇中的短文本,得到话题簇的话题描述;趋势预测是基于话题发现得到的话题描述,分析话题的发展趋势,对话题的发展进行预测。本文分析了用户的话题关注模式,建立用户关注模型,发现用户的话题关注模型对话题的发展趋势具有一定的预测能力。此外,本文基于TREC2011微博检索任务提供的Tweets2011语料集,整理tweet信息,并建立了Tweets2011数据库。首先保存了原语料集中每个字段的原始信息,然后根据tweet中的话题标签将语料集进行分类,得到了可以用于短文本分类语料集。最后根据tweet中存在的用户间信息流动关系,建立了可以用于社交网络研究的tweet信息流动表。通过提供公开的数据库,可为相关领域的研究者提供格式规范、信息丰富的研究数据,提高了其研究效率。
其他文献
物流网络的效率和效益直接取决于网络的拓扑结构以及网络中各物流节点和运输线路的流量分配情况。物流网络拓扑结构一旦确定,将在相当长的一段时间内不会发生变化,而物流网络
本世纪是生物技术与信息技术的时代,中国正走向世界,世界也在向中国走来,国际间的相互合作和交流日趋增多。双语人才,特别是专业双语人才是今后的必然要求。实施双语教育,培
很多教师教学《塞翁失马》都只是关注其作为寓言的道德教化功能,就故事说故事,唯寓意至上,忽略了其作为经典文本的言语教学价值和精神成长因子。文章结合文本具体内容,紧紧抓
<正>毛宗岗在《读三国志法》中说:"作文者以善避为能,又以善犯为能。不犯之而求避之,无所见其避也。惟犯之而后避之,乃见其能避也。"金圣叹评点《水浒传》时也有"正犯""略犯"
期刊
随着近十几年来我国机动车保有量的急剧增加,城市交通拥堵现象越来越严重,十字交叉口是城市交通的关键节点,而左转车流又是交叉口最难处理的一部分车流,因此如何处理好左转车
随着经济全球化的不断深入,我国保险业面临的一个重大战略课题就是如何对保险代理人员实行有效的管理和激励以达到保险企业业绩的提升,从而获得持续的竞争优势。但是在现有绩
主权信用评级是特殊的专业机构基于一定的规则和方法,对主权国家“直接或间接影响债务人履行其对外偿付义务的能力和意愿”这一主权风险进行测量与排名,并用一系列具有特殊意
伴随着中国电信技术的日新月异,客户对通信服务质量和电子产品的需求也有了新的变化,即需求量的增加和服务质量要求的提高。中国联通所面临的形势是非常严峻的,要想在三分天下局
锑硒合金是按照特定的配比,精确计量锑及硒的使用量,然后将高熔点的金属锑在中频感应电炉中熔化,之后将低熔点的硒以特定的方式加入到电炉中,在一定的温度下进行合金化反应,形成均
<正> 亚里士多德是第一个把哲学作为一门独立科学来进行研究的哲学家,也是第一个试图解决哲学和具体科学的关系问题的哲学家。虽然这一问题的真正科学的解决,是在马克思主义