用户原创内容分析系统设计与实现

来源 :大连理工大学 | 被引量 : 1次 | 上传用户:soul566
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着网络快速发展,网络社交平台承载了大量的用户原创内容信息。这些信息中隐含着重要价值,在社会、人文方面有巨大研究潜力。同时,计算机领域发展出的数据采集、分析、分类等挖掘等方案,都有较高门槛,且无面向普通用户及普通研究者的可迁移的整体方案。针对上述现状,本文实现了一套用于社交平台中用户原创内容分析的Web系统。系统基于Scrapy爬虫框架二次开发了针对主流社交平台的聚焦爬虫方案,同时支持自定义数据采集过程。系统支持对某事件的参与用户进行基本信息统计,对事件流转过程中产生的文本信息进行情感分析。系统基于LSTM神经网络和随机森林算法,对用户的潜在类别进行挖掘。基于SIR传染病模型对事件的传播、扩散模型进行拟合分析。系统基于Echarts前端组件扩展了丰富的图表对分析结果进行可视化,诸如分析结果、传播模型拟合等过程都采用可视化的方案,更直观的帮助系统使用者完成采集、分析过程。系统采用了多台扩展服务器来执行数据采集、数据分析等高耗时的任务。整体的Web系统基于Flask框架的MVT模式进行开发实现,前端使用Bootstrap框架,系统的主体数据库采用MySQL,使用MongoDB管理采集到的数据集。最终按照设计方案完成了平台需求,并且通过对前端、服务端测试用例的执行,以及完整的示范案例运行验证了平台的可用性。平台界面简洁、分析结果直观且可保存,能够使普通用户及相关研究人员低成本的完成相关数据采集、分析任务。
其他文献
软件定义网络SDN(Softwar e Defined Networking)是一种由软件定义数据流的新型网络架构,占据了下一代网络互联系统研究开发的重要地位。SDN理论研究成果得到日新月异的发展,
随着轨道交通事业全面布局的迅猛扩展,我国轨道交通已经迈入“高速重载”的发展阶段,在国民出行安全、区域经济发展以及综合国力提升方面承担重要战略作用。为满足轨道车辆在载货重量、运输安全、高速舒适协调共进的要求,需要进行多项检测试验对车辆运行性能进行评估。传统的集中式有线车辆检测系统存在线路连接复杂、难以及时响应异常、系统可靠性低的缺点。无线传感器网络技术的进一步发展和完善,以其智能化程度高、灵活易扩展
lncRNA(长非编码RNA)是一类长度超过200个核苷酸的非编码RNA,近年来受到科学研究的热切关注。越来越多的研究表明,lncRNA与基因表达水平的调节有关,如表观遗传、转录调控和转
随着无线通信技术的飞速发展,人们对于无线通信的速率和质量的要求也越来越高。如今,无线通信技术已经进入了5G时代,频带资源稀缺已成为限制无线通信技术发展的一个重大阻碍
青藏高原是全球中低纬度最大的现代冰川区,在全球气候变化和世界人口增长的大背景下,青藏高原冰川正在处于持续缩减状态。研究青藏高原冰川变化,了解该区冰川变化特征及变化
随着大数据与人工智能技术的发展,将人工智能技术应用到法律领域已受到越来越多的关注,利用已有的裁判文书信息进行类案推送,已经成为统一裁判尺度、推进司法公正、以及量刑
当前我国在精密自润滑关节轴承产品,主要依赖进口,特别是在整体外圈型自润滑关节轴承技术研究、制造方面,存在技术空白。整体外圈型自润滑关节轴承的制造核心瓶颈之一是精密成形工艺,其工艺关键在于:提高轴承外圈内表面的成形质量,减少内外圈之间的挤压力,形成均匀游隙和高精度接触球面。尤其是对于大直径的自润滑关节轴承精密成形来说,成形过程中总体成形力较大,同等润滑条件下摩擦力也很大。摩擦力的变化对于大直径自润滑
传统的SVPWM(Space Vector Pulse Width Modulation)是以固定的频率开通、关断半导体器件,会产生与开关频率相关的谐波成分,这些谐波会引起电机等负载的电磁振动和人耳可听见
目前,煤矿企业对提高煤炭运输效率与改善装车效果迫切需求,实现快速定量装车站智能装车逐步成为热点研究问题之一。随着计算机视觉技术不断成熟,将计算机视觉技术应用于快速
随着大数据的广泛应用,隐私保护问题在网络数据分析中显得越发重要。差分隐私是一种常用的隐私保护方法,对于Laplace机制下的差分隐私问题,在某些特殊的模型如β-模型中得到