基于Python的分布式网络爬虫系统的设计与实现

来源 :电子技术与软件工程 | 被引量 : 0次 | 上传用户:dishunzhaopin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现在人们和网络有着密不可分的联系,人们从网络上可以获取丰富的信息。但是存在用户很难在大量信息中准确挖掘自身需要信息的情况,因此如何从网络上丰富的信息中找到自己最需要的信息是用户很重视的一个问题。网络爬虫是一项能够自动对信息进行提取筛选的程序,但是其中也存在着一些爬虫系统收集信息效率低、没有良好的扩展性能等问题,网页数据爬取效率和数据选择的速度是当前爬虫系统需要优化的几个方面。根据当前网络信息特点,本文将会对Python的分布式网络爬虫系统的设计和实现做出简介,并且将此作为对传统文件共享形式的一种补充,也是
其他文献
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield
假设G是有限群.H是群G的一个子群,若对群G的任意子群K都有HK=KH,则H是G的拟正规子群;称子群H是群G的SS-拟正规子群,若H在G中存在补群M,并且H与M的任意Sylow子群可交换;称群G的
构建项目决策会计信息系统是当前管理会计应用中的一项内容,通过信息化管理工具的支持,有助于管理会计在企业决策中能更有效且快捷地发挥作用。项目决策会计信息系统的构建包
随着人们环保观念的加深,社会的发展,电动汽车在人们的生活中越来越常见。与普通的汽车一样,电动车也需要"加油",就出现了电动汽车充电桩。在分析研究了政府的主导模式、电网
肠瘘是腹茧症术后严重的并发症,一般发生于术后2~4天,本例患者发生于术后第12天。通过有效引流、肠内外营养方式的调整、机体活动、生长抑素的应用,在护理环节上加强引流液的
本文对我国派现上市公司的可持续增长问题进行了统计检验,得出我国派现行为与可持续增长因素有较低的相关性,更多非财务因素对派现起着重要影响.可持续增长因素和每股经营现
回 回 产卜爹仇贱回——回 日E回。”。回祖 一回“。回干 肉果幻中 N_。NH lP7-ewwe--一”$ MN。W;- __._——————》 砧叫]们羽 制作:陈恬’#陈川个美食 Back to yield