论文部分内容阅读
目前全球URL总数在350亿以上,在满足时效性的前提下,越来越多地选择采用分布式爬虫技术,它可以快速高效地从Web中获取有价值的数据。基于Redis数据库设计一种相关去重协议,实现URL去重,有利于提高分布式系统的稳定性和高效性,以及保持整个系统对URL去重的一致性。
分布式爬虫系统中URL去重的设计与实现
【摘 要】
：
目前全球URL总数在350亿以上,在满足时效性的前提下,越来越多地选择采用分布式爬虫技术,它可以快速高效地从Web中获取有价值的数据。基于Redis数据库设计一种相关去重协议,实
【机 构】
：
湖北汽车工业学院电气与信息工程学院
【出 处】
：
现代信息科技
【发表日期】
：
2019年11期
【基金项目】
：
湖北汽车工业学院大学生创新训练项目:基于Python的分布式爬虫系统的设计与实现(项目编号:SJ201730)
其他文献
消费需求不足会对产业结构升级产生阻碍作用,消费需求不足体现为消费需求的总量不足和消费结构不合理。产业结构升级是推动经济发展的重要动力,同时也受到消费需求的影响。本
[目的]了解广州市城区主要交通枢纽空气污染状况,为广州市环境治理及卫生防疫提供科学依据.[方法]用JWL-ⅡB新型固体撞击式多功能空气微生物采样仪对广州城区部分主要交通枢
碳纳米管作为一种极具有前景新型的载体材料,在材料、物理和化学领域应用极为广泛。因此,碳纳米管载体的化学修饰和表面改性优化研究,对提高催化性能十分必要。对目前最主要
广义回归神经网络具有设计简单、收敛快等优势,因此在复杂非线性系统建模中得到了广泛应用;在简要介绍了广义回归神经网络的结构和算法的基础上,基于广义回归神经网络和均匀
我国北方地区冬季建筑采暖用能巨大,为提升建筑外围护结构热工性能而进行的节能改造已陆续开展,并且规模逐步扩大。本文依据我国建筑节能发展进程,结合数理统计方法,利用少量
目的对急性阑尾炎的超声图像表现进行分析、小结,以提高超声对急性阑尾炎的诊断和鉴别能力。方法本组资料回顾性地分析了59例急性阑尾炎病例超声图像,并与相应的病理资料进行
合成了六(4-醛基苯氧基)环三磷腈(HAPCP),采用红外光谱(FTIR)、元素分析(EA)、核磁(NMR)证实其结构,并将该化合物作为阻燃剂,通过熔融共混的方式添加到PET中,制备HAPCP/PET阻
【目的】揭示亚热带茶树能否直接吸收利用分子态可溶性有机氮,探讨茶树吸收可溶性有机和无机氮后的运转特性差异。【方法】采用（13）C、（15）N双标记甘氨酸、（15）N标记硫酸铵和（15）N标
3月15日上午,由石家庄东方时尚驾驶员培训学校有限公司主办、河北交通电视频道承办、河北省消费者协会协办的“维护学员利益信守五项承诺——3·15消费者权益日石家庄东方时