基于高实时分布式网络的爬虫软件设计与实现

来源 :浙江大学 | 被引量 : 0次 | 上传用户:zlp_dream
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网,尤其是移动互联网的发展,网络数字信息几何级的规模增长,如何有效的提取这些信息,使数据分析更为方便,是网络爬虫研究的主要内容。随着分布式系统的兴起,包括分布式计算与分布式存储,这些技术框架的广泛应用使人们看到分布式系统在面对大规模数据的处理问题上的优势。本文实现了一种高实时分布式的网络爬虫软件,并以新浪微博为例实现了对微博用户信息以及博文的爬取,根据实际需要实现了分布式系统框架,包括节点通信与负载分配问题。本文的主要工作内容如下:1)分析国内外爬虫软件与分布式系统的研究现状,介绍典型技术框架的原理以及应用情况。2)在分布式系统方面,本文提出了应用RDMA技术实现节点之间的内核旁路低延迟传输技术,保证了爬虫软件的运行效率以及实时性。为了保证负载均衡与系统的健壮性,本文提出了一种简单但有效的负载分配方案。3)针对微博页面制订了爬虫策略,应用Scrapy框架实现了爬虫模块,运用数据库服务器做为节点之间的枢纽,并根据实验结果调整爬虫策略。4)利用分词技术与话题热度评估技术实现了主题发现模块,发现微博热门主题并可以通过爬虫软件后续跟踪。5)验证分布式爬虫软件的系统功能与性能。
其他文献
目的分析曲美他嗪对冠心病(CHD)稳定性劳力型心绞痛患者心肌缺血的影响。方法随机抽取本院自2016年1月至2017年1月收治的CHD稳定性劳力型心绞痛患者80例,分为A组(n=40)和B组(n=40)
摘要:对于“生物学领域中有无定律”这个问题的讨论既是传统科学哲学对于定律问题讨论的一种延续,也是生物学哲学对传统问题讨论的一种拓展。一方面,定律问题作为一般科学哲学
投资连结保险业务在我国开展过程中,因证券市场不完善,保险公司信息 披露不完全、监管不足等原因,产生了极大波动。必须进一步拓宽保险资金的投资渠道,规范其信息披露,加强监管,以
[目的]田园综合体是乡村发展的主要抓手之一,研究田园综合体系统与乡村发展系统的耦合协调关系,对准确评估成都市田园综合体发展现状,更好促进乡村发展具有重要借鉴意义。[方
“三农”问题是关系国计民生的根本性问题,以习近平同志为核心的党中央始终把解决好“三农”问题作为全党工作重中之重。党的十九大从全局和战略高度明确提出实施乡村振兴战
广东具有经济总量和规模优势、地理位置优势、灵活的市场机制等制度优势、“敏于行”的低碳生活方面的优势、设施农业、光伏农业和观光农业等生产方面的优势,也具有减排潜力缩
东濮凹陷北部沙三段泥页岩有机质丰度较高,热演化程度适中,含油泥页岩厚度较大,埋深条件较好。通过cT扫描、单偏光显微镜、扫描电镜、比表面分析及全岩分析,认为泥页岩储层孔隙总
在聚酯、环氧、消光固化剂体系中,详细讨论了聚酯树脂的酸值、聚酯 /环氧树脂的质量比、消光固化剂用量、颜填料品种、各种助剂对涂膜外观、光泽及其他性能的影响,为设计消光粉
<正> 湖北人民出版社新近出版的武汉大学郑功成教授新著《中国社会保障论》一书,从社会发展与市场经济改革的研究视角出发,采用纵横结合的研究手法,以46万字的篇幅,全面、系
嵌入式系统的一种流行的定义为以应用为中心,以计算机技术为基础,软件硬件可裁剪,适应系统对功能、实时性、可靠性、成本、体积、功耗严格要求的专用计算机系统或称为非智能