论文部分内容阅读
大数据时代下,大规模采集Web数据的网络爬虫显得越来越重要。为解决爬虫IP的访问频率受限问题,提出了一种高可用动态代理池系统,从而解除IP访问频率限制,提高了网络爬虫性能。通过带有动态池系统的爬虫实验,验证了该系统的可行性与有效性。
面向网络爬虫的高可用动态池系统设计与实现
【摘 要】
：
大数据时代下,大规模采集Web数据的网络爬虫显得越来越重要。为解决爬虫IP的访问频率受限问题,提出了一种高可用动态代理池系统,从而解除IP访问频率限制,提高了网络爬虫性能
【机 构】
：
广东第二师范学院计算机科学系
【出 处】
：
福建电脑
【发表日期】
：
2019年6期
【基金项目】
：
2019年广东第二师范学院校级教学质量与教学改革工程项目(No.2019jxgg18),广东第二师范学院软件工程重点学科建设项目(No.9030-1700207),国家自然科学基金青年科学基金项目(No.61802132),广东省自然科学基金项目(No.2018A0303130169),广东省科技计划项目(No.粤财农[2017]94号、No.2016A010106007),广东省应用型科技研发专
其他文献
在新课改的要求下,各物理教学工作者也充分认识到物理实验课的重要性,实验课中务必会涉及到实验资源的运用问题,本文针对物理实验教学中资源的开发与合理运用做出详细分析,对
针对部分本科院校在向应用型转型过程中,没有建立与应用型本科高校大学生创新能力培养相适应的创新教育课程体系,使学生缺乏创新创业能力,提出基于电子设计竞赛的大学生创新