基于Python的新浪微博数据爬虫

来源 :计算机应用 | 被引量 : 0次 | 上传用户:maciqian
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前很多的社交网络研究都是采用国外的平台数据,而国内的新浪微博没有很好的接口方便研究人员采集数据进行分析。为了快速地获取到微博中的数据,开发了一款支持并行的微博数据抓取工具。该工具可以实时抓取微博中指定用户的粉丝信息、微博正文等内容;该工具利用关键字匹配技术,匹配符合规定条件的微博,并抓取相关内容;该工具支持并行抓取,可以同时抓取多个用户的信息。最后将串行微博爬虫工具和其并行版本进行对比,并使用该工具对部分微博数据作了一个关于流感问题的分析。实验结果显示:并行爬虫拥有较好的加速比,可以快速地获取数据,并且这些数据具有实时性和准确性。
其他文献
在真空滤油机研发过程中,对其真空获得设备前置涡旋真空泵的研究是一个重要的方面。涡旋真空泵在运行过程中,动、静涡旋盘之间间隙的存在导致了气体泄漏损耗,该因素会影响涡
文章对康定地区传统民居进行室内热环境测试,同时测试了室外建筑环境参数,测试季节分为冬季与夏季。综合分析测试结果,探讨当地室内热环境现状,并提出一些建议。
从施工方角度出发,就项目管理工作的3个方面,即:项目部管理、机组管理、员工岗位精细化管理,提出了一些做法和建议。加强项目精细化管理,建设企业质量文化;以人为本,从关注施
本文着重介绍氯酸钠真空蒸发结晶原理及工艺过程,并与高温蒸发结晶法进行简要比较,总结真空蒸发结晶技术的先进性。
滴管施肥技术是一种高效灌溉和施肥技术,跟普通的灌溉和施肥技术相比,它不仅能提高水、人力、肥料等资源的利用率,而且能提高农作物的产量。该文主要分析了滴灌玉米密植高产
当前,住宅工程质量成为全社会密切关注的热点问题。百年大计,质量第一。建设工程质量是城市化建设的命脉,直接关系到人民生命财产安全,建设单位、勘察单位、设计单位、施工单
作为一种新的智能频谱共享技术,认知无线电(CR)技术允许认知用户在不干扰授权用户的前提下使用其空闲的频谱而有效提高频谱利用率。为克服传统认知无线电系统物理层传输技术
为克服传统危险源及可操作性分析(HAZOP)的主观性,提高LNG加气站风险管理水平,提出HAZOP定量分析方法。该方法以传统的HAZOP分析方法为基础,结合道化学火灾、爆炸指数评价法(
采用连续过滤加自然沉淀的方法治理电石渣,投资仅为压滤机工艺的1/3,处理的 效果达到或超过压滤方法,同时降低了机械维修费和能耗。
为了增强局部搜索算法在求解最大割问题上的寻优能力,提高解质量,提出了一种多启动禁忌搜索(MSTS)算法。算法主要包括两个重要组件:一是用于搜索高质量局部优化解的禁忌搜索