社交网络数据处理及可视化表达的研究与实现

来源 :东北大学 | 被引量 : 0次 | 上传用户:runzhong
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的普及和移动端技术的快速发展,各企事业单位、政府机关、科研院所甚至个人都产生大量数据,对这些数据的管理和分析是各单位面临的巨大挑战。由于关系型数据库在传统业务逻辑处理方面的优势,很多单位的数据仍然保存在关系型数据库中。然而,关系型数据库不具有处理大量复杂、高密度连接以及低结构化数据的特点,对数据分析工作带来很大困难。因此如何将海量关系型数据进行抽取转换成图数据形式进行管理,同时将数据以可视化的形式展现以获取隐藏的重要信息已成为当前研究热点。本文从实际需求出发,首先将存储在关系型数据库中的数据进行预处理,去除冗余数据和空缺值。然后进一步将数据进行抽取、转换、存储到非关系型数据库MongoDB中。最后,系统读取MongoDB中的数据以可视化形式进行展示。在数据预处理过程中,本文改进现有的基本临近有序算法(SNM),并设计了处理空缺数据算法,使算法更适用于处理社交网络数据。在数据抽取转换的过程中,本文设计出更具有针对性的数据结构以满足处理大量社交数据的要求。同时,为方便用户使用,达到良好的用户体验,本文实现了数据预览模式、普通聚类划分模式和基于粒度聚类展示的三种可视化方式。本文在实现的过程中运用软件工程设计思想和模块化开发方法,使系统逻辑清晰,结构明确。在数据处理过程中使用Python语言以及Flask框架,可视化展示模块使用NetworkX建模工具和D3.js可视化库,使系统具有良好的运行能力及清晰直观的可视化展示结果。测试结果表明,本文所设计的系统在容错性和模块功能上实现了预期的设计目标,能为相关业务部门增强业务能力,提高工作效率。
其他文献
大规模定制生产旨在以大规模生产的成本和速度,为单个顾客或小批量多品种市场定制任意数量的产品及服务。产品配置技术——作为大规模定制生产的关键技术,是大规模定制企业进
作文评价是高中作文教学的一个重要组成部分,对学生的学习和个人发展具有重要意义。合理的作文评价体系可以促进学生写作能力的有效发展。它引导和塑造学生的学习动机和学习行
由于大量黄土基坑工程出现,具有高适用性、经济性的复合土钉支护结构更加广泛的运用到黄土基坑工程中,并取得了良好的效益。但复合土钉作用黄土基坑的机理尚不清楚,对其的研究成果也多集中在加固结构与黄土基坑的宏观效应上,针对微观的研究也不多,更缺乏将微观效应与宏观效应相结合的成果研究。导致复合土钉在设计施工中多依赖于工程经验,缺乏一定的理论根据。本文为探究土钉+锚索的复合土钉墙支护黄土基坑的作用机理,基于复
基于声学诊断技术的滚动轴承轨旁声学诊断系统(TADS)主要有两种检测方式,即长间距阵列接力检测和短间距阵列追踪检测。介绍了通过预设轴承故障的动车组列车正线运行验证试验,对
目的通过比较青春早期不同体成分女孩体成分发育水平、唾液性激素水平,探讨青春早期不同体成分女孩体脂含量和唾液性激素水平的变化;并比较半纵向和追踪研究的异同。方法选取
马克思的"宗教是人民的鸦片"这个观点是个老生常谈且争论不休的问题。这个问题又因其与社会现实、宗教及其相关研究紧密关联而成为至今需要深度研究和无法回避的基本问题。马克
通过访谈7名北京奥运会珠峰火炬手,调查火炬传递过程中珠峰火炬手的心理体验。研究发现,冲顶初期他们向往成功,比较激动;上攀过程中心情复杂,既因成功渐近而兴奋,又因路径艰险而害
房地产市场对于我国国民经济的影响十分巨大。近年来,随着我国经济增速渐趋平稳,房地产市场也逐渐降温,甚至出现了一些困境。在这种环境下,加强市场营销工作对于房地产企业的
农业生产经营的产业化和生产技术的科学化是农业现代化的主要内容之一.这就要求未来的农业建设者,不仅要有较高的农业科技素质,而且要有农业生产经茗经验、市场预测与决策能力。
在石油企业文化建设中,明确建设目标及影响因素,可以更好地发挥企业文化的作用。石油企业文化建设目标的实现,既受到内部因素的影响,也受到外部因素的影响,要实现石油企业文化建设