微博信息可视化系统的设计与实现

来源 :华中师范大学 | 被引量 : 0次 | 上传用户:long1024
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的发展,参与微博类社交平台的用户数呈指数级增长。据新浪微博去年第二季度财报统计,微博用户月活跃规模己达4.31亿。面对浩瀚如海的微博文本集,如何根据关键字、话题等查询需求,对检索结果集精确高效分析、可视化处理,是目前亟需的功能。而当前各微博平台的检索功能,只能返回文档形式的结果集。如何根据查询需求,对所有查询结果集做更有效的可视化处理,是微博信息平台目前面临的最大挑战。针对该挑战,本文构建了微博信息可视化系统,主要研究工作包括以下两个部分:第一,话题趋势与地域分析:首先使用WebCollector爬虫下载微博原始帖子,并根据规则预处理;然后再利用中文IK分词器插件和自定义扩展词典,对语料库中每篇短文本做分词、消歧、去停用词等处理,并生成对应的倒排记录表和词典;之后再利用ELK技术栈搭建分布式索引库和搜索引擎平台,将倒排记录表和词典中所有数据存储在该平台中;最后根据信息检索模型查询结果集,利用可视化组件Kibana对查询结果集做数据统计分析与可视化处理。通过该功能,可以帮助用户快速从结果集中获取与其相关的用户地域分布、话题发展趋势以及关注程度。第二,话题聚类:首先利用检索功能查询与目标话题相关的所有文本结果集;然后使用Lucene框架将返回的文本结果集生成对应的倒排索引,其过程主要包括文本分词、歧义处理、去停用词;之后再利用Lingo中的SVD聚类算法,使用自上而下的方式生成若干个子话题结果集;最后使用Carrot2可视化组件,根据设置的子话题个数、聚类离散度、文本得分阈值对子话题结果集可视化处理。通过该功能,用户可以调节聚类参数帮助其进一步明确查询需求、更高效的获取查询结果。
其他文献
中国是世界第二大塑料市场,塑料产业已经是国民经济的重要支柱,塑料在四大工业材料(水泥、木材、钢铁、塑料)中所占比例越来越重。塑料已成为人们日常生活中不可缺少的生产资
目的:建立一种简易的褥疮不完全性缺血再灌注损伤动物模型。方法:24只雄性SD大鼠随机分为3组:对照组(C组);不完全性缺血组(I组);不完全性缺血再灌注组(IR组)。通过肉眼观察大
目的 :研究肝癌、癌旁肝硬化及病毒性肝炎 3种病变中c myc、bcl 2基因蛋白和p63的表达特征 ,探讨其对肝癌发生的影响。方法 :采用免疫组化 (S P)法检测石蜡包埋组织中c myc、
目的探讨阴道超声在自然周期中监测卵泡发育的应用价值。方法回顾性分析110例不孕患者224个自然周期的阴道超声卵泡监测结果,并比较原发不孕和继发不孕周期的卵泡发育类型。
变应性鼻炎是我国的常见病多发病,豚鼠是变应性鼻炎常用模型。本文重点综述了近十年来豚鼠变应性鼻炎造模相关方面的研究进展。
在所有恶性肿瘤中食管癌是导致病人死亡的第六位病因,该病是目前应用传统治疗方法最难治愈的恶性肿瘤之一。令人担忧的是,尽管在过去的几十年里食管癌的治疗已经采用了以侵入性
CCN蛋白家族目前共有6个成员,分别是Cyr61、CTGF、Nov、WISP-1、WISP-2、WISP-3。它们结构相似,均富含保守的半胱氨酸,具有广泛的生物学特性,都与机体组织创伤修复密切关联,
公立医院综合改革在我国社会发展中具有十分重要的意义,新医改政策的落实对于缓解群众“看病难、看病贵”起到了十分积极的作用。随着国家医改政策的深入推进,公立医院的财务
有机锡化合物已广泛的应用于杀虫剂,船舶涂料,PVC塑料热稳定剂以及有机反应的均相催化剂等。有机锡Schiff碱配合物具有广泛的生物活性,特别是其中一部分物质具有抗肿瘤活性,
沙龙产生于文艺复兴时期,20世纪渐趋销声匿迹,在长达五个世纪的时间里,一直是西欧上流社会精神文化生活最集中的场所。沙龙的特色是交谈,内容涉及文学、哲学、政治、音乐等,