论文部分内容阅读
大数据时代下,大规模采集Web数据的网络爬虫显得越来越重要。为解决爬虫IP的访问频率受限问题,提出了一种高可用动态代理池系统,从而解除IP访问频率限制,提高了网络爬虫性能。通过带有动态池系统的爬虫实验,验证了该系统的可行性与有效性。
面向网络爬虫的高可用动态池系统设计与实现
【摘 要】
：
大数据时代下,大规模采集Web数据的网络爬虫显得越来越重要。为解决爬虫IP的访问频率受限问题,提出了一种高可用动态代理池系统,从而解除IP访问频率限制,提高了网络爬虫性能
【机 构】
：
广东第二师范学院计算机科学系
【出 处】
：
福建电脑
【发表日期】
：
2019年6期
【基金项目】
：
2019年广东第二师范学院校级教学质量与教学改革工程项目(No.2019jxgg18),广东第二师范学院软件工程重点学科建设项目(No.9030-1700207),国家自然科学基金青年科学基金项目(No.61802132),广东省自然科学基金项目(No.2018A0303130169),广东省科技计划项目(No.粤财农[2017]94号、No.2016A010106007),广东省应用型科技研发专
其他文献
国家技术监督局于1988年12月10日发布的GB10095《渐开线圆柱齿轮精度》于1989年10月1日实施,它标志着齿轮标准又上升一个新的水平,同时也说明了国家对于标准化工作的重视。新
<正> 现代企业的劳动、人事、工资制度的改革是现代企业深化改革的必然趋势,也是必要前提。 5年来,我们成功地进行了三轮招聘上岗工作,个个员工热情高涨,积极投入到电厂安全
在新课改的要求下,各物理教学工作者也充分认识到物理实验课的重要性,实验课中务必会涉及到实验资源的运用问题,本文针对物理实验教学中资源的开发与合理运用做出详细分析,对
针对部分本科院校在向应用型转型过程中,没有建立与应用型本科高校大学生创新能力培养相适应的创新教育课程体系,使学生缺乏创新创业能力,提出基于电子设计竞赛的大学生创新
<正> 落实站址、资金及进出线通道是建设35kV输变电工程的3大基本条件,其中尤以站址为先。目前,典型设计的35kV 变电站的站本体约为36×21m」2,再考虑运输、消防及安全通
现今社会，全球呈现日新月异的变化。在我国社会主义经济建设和文化建设稳步发展的前提下，人民生活水平逐渐好起来，人们对生活品质的要求也越来越高，不仅体现在物质上的需求。更多
本文对我国事业单位财务管理的现状进行了分析，阐述了事业单位财务管理上存在的问题，主要包括财务管理工作者的观念落后、财务管理制度不完善等问题，并针对存在的问题提出了增强
随着新课程改革标准的全面实施,培养学生创造性思维能力的重要性日益凸显出来.本文简单阐述了创造性思维的内涵,并进一步详细地探讨了在高中数学教学中培养学生创造性思维能
在现代化信息技术高速发展的背景下,计算机网络在各个领域得到广泛普及与应用的同时,其弊端也不断显现出来,计算机网络安全形势变得日益严峻,确保计算机网络安全,已经成为各