切换导航
文档转换
企业服务
Action
Another action
Something else here
Separated link
One more separated link
vip购买
不 限
期刊论文
硕博论文
会议论文
报 纸
英文论文
全文
主题
作者
摘要
关键词
搜索
您的位置
首页
期刊论文
基于Go的多线程模块化爬虫框架设计与实现
基于Go的多线程模块化爬虫框架设计与实现
来源 :现代计算机 | 被引量 : 0次 | 上传用户:luocheng890924
【摘 要】
:
为了提高网络爬虫的速率和爬虫程序的开发效率,利用大部分网站采用动态填充视图模板生成结构相同但内容不同的多个页面的特点,设计一个基于Go的多线程模块化爬虫框架。通过爬
【作 者】
:
刘国玺
刘江
徐海峰
张雁
吕丹桔
【机 构】
:
西南林业大学大数据与智能工程学院
【出 处】
:
现代计算机
【发表日期】
:
2019年21期
【关键词】
:
多线程
Go
网络爬虫
模块化爬虫
【基金项目】
:
国家级创新训练项目(No.201710677009);国家自然科学基金(No.61462078)
下载到本地 , 更方便阅读
下载此文
赞助VIP
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了提高网络爬虫的速率和爬虫程序的开发效率,利用大部分网站采用动态填充视图模板生成结构相同但内容不同的多个页面的特点,设计一个基于Go的多线程模块化爬虫框架。通过爬虫框架的实现和实验结果表明,此方法提升开发效率,有效解决普通爬虫中常见的单线程太慢、多线程难以控制等问题。
其他文献
螺旋体式辊锤粉碎机
螺旋体式辊锤粉碎机的设计构思是充分地运用了破碎理论,运动学和动力学理论,将各种类型破碎机之破碎矿物的形式巧妙地接台为一机来粉碎矿物。因此本机具有结构科学合理新颖独特
期刊
粉碎机
护士自我评价在护理质量控制中的作用
目的探讨护士自我评价每班工作质量的管理模式。方法科室设置护士自我评价评分表,要求护士每天下班之前对照标准对自己班上的工作进行自我评价评分。护士长或质控组成员进行
期刊
护士
自我评价
护理质量
护理管理
70%低地板有轨电车接地电阻烧损原因分析及改进建议
针对沈阳浑南线70%低地板有轨电车接地电阻烧损故障,分析了有轨电车高压电路及整车接地回流系统的工作原理,通过实际试验测量指出故障原因,并提出改进建议。
期刊
低地板有轨电车
接地电阻
故障
建议
利奈唑胺治疗金黄色葡萄球菌感染的疗效分析
目的探讨利奈唑胺治疗金黄色葡萄球菌感染的疗效和安全性。方法选择2018年3月—2019年3月在我院接受诊疗的100例金黄色葡萄球菌感染患者作为研究对象。采取随机分组的方式,将
期刊
利奈唑胺
万古霉素
金黄色葡萄球菌
感染
疗效
安全性
高层建筑上部结构—筏板基础—地基共同作用的有限元分析
在高层建筑的建设中,上部结构—筏板基础—地基共同作用的研究是当前结构、岩土工程领域关注的课题之一。由于实际建筑物都是由上部结构、基础和地基组成的完整系统,三者之间是
学位
上部结构
筏板基础
地基
共同作用
有限元法
孟郊诗歌与洛阳
晚年的孟郊把洛阳选为自己最终的栖息地。在这里,诗人度过了他一生中最为幸福的时光;也是在这里,他经受了人生中最为悲惨的失子丧母之痛。诗人在洛阳所写的一百多首诗歌记录
学位
孟郊
洛阳
诗歌
小麦联合收割机的合理化作业方式
小麦联合收割机对小麦的收割作业起到了重要的作用,它能够实现快速高效收割小麦的农艺要求,有利于小麦的稳产和高产。随着我国小麦机械化收割水平的不断提升,小麦机械化收割
期刊
小麦
联合收割机
合理化
作业
光通信系统传输性能的对比分析
分析了载波抑制归零码(CSRZ)、差分相移键控(DPSK)和差分正交相移键控(DQPSK)三种调制格式的频域特性,并使用Optisystem软件对这三种码在40Gb/s光通信系统中的灵敏度、非线性
期刊
载波抑制归零码
差分相移键控
差分正交相移键控
非线性效应
色散容限
“大众创业,万众创新”背景下高校大学生创业现状探析
随着现今社会科技、知识、经济、文化的高速发展,对于人才素质的要求也随之有着更高的要求和期望。大学生作为推动祖国发展的主力军,应主动承担起对国家和社会建设的责任和义
期刊
大学生
自主创业
创业能力
建议对策
雷公藤甲素对变应性鼻炎大鼠模型Th2细胞因子和VCAM-1的影响及机制研究
背景与目的 变应性鼻炎(Allergic rhinitis, AR)是一种由易感个体接触变应原(Allergen)后引起的鼻粘膜的慢性炎症,在变应性鼻炎的发病过程中,免疫细胞、细胞因子(Cytokine,
学位
变应性鼻炎
雷公藤甲素
核转录因子
血管细胞粘附分子-1
Th2细胞因子
与本文相关的学术论文