基于Java的多线程网络爬虫设计与实现

来源 :微型电脑应用 | 被引量 : 0次 | 上传用户:gzliuwei2008
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
网络爬虫是目前比较流行的一种网页检索工具,其设计和实现也需要不断优化和改进。通过描述网络爬虫设计与实现中所碰到的问题,提供解决这些问题的方法,并给出实现这些目标的网络爬虫设计方法,提供该设计的Java语言版实现。
其他文献
林毅夫和张维迎关于产业政策的争论又一次引起社会的高度关注。这些年,光伏、新能源汽车、高铁等众多行业得到政府的直接支持;煤炭、钢铁等行业在“去产能”背景中则遭遇限产
<正> 急性腰扭伤是一种常见病,常因劳动时姿势不正,弯腰提物时用力不当或负荷过重等扭伤腰部。笔者采用针刺内关透外关治疗51例,取得较满意效果。报告如下: 临床资料:51例急
研究目的:探讨一种自行设计改良的引流装置在大型颌骨囊性病变开窗引流术中的应用价值。研究方法:收集中国医科大学附属口腔医院口腔颌面外科2014年-2018年应用改良开窗减压
1954年法国在世界上最早实行增值税,在对出口货物零税率的运作机制上积累了丰富的经验,具体有以下两种做法[1]:1、全额免税购买,指企业在购进货物时即予彻底免税,不征税也不
<正>数字卫星新闻采集(DSNG,Digital satellite news gathering)由天线、功放、变频器、编码调制器等设备组成的卫星上行系统、视频音频信号分配调度系统、监测控制系统以及
随着现代产业智能化的推进,对信号获取和处理的需求不断增加。功能单一的信号采集系统无法满足当前的实际需求。本课题设计的系统具备下位机(FPGA)独立完成信号采集和处理两项工作的能力。解决高速信号采集系统数据实时存储问题和提出基于FPGA器件复杂数字信号处理算法的实现方式。首先,综合分析国内外信号采集和处理系统的发展现状;结合信号采集原理和数字信号处理原理,对信号采集与处理系统进行需求分析并完成对系统
<正>《胡同文化》是一篇描绘北京胡同文化的风情散文。作者通过对胡同命名、习俗、居住在胡同中的北京人的生活状态以及胡同的衰败等的描述,赋予了胡同浓郁的文化气息。这种
纵观现代大学制度的演进历程,学术自由与大学自治是大学制度建构中始终如一的基本原则。"学术自由"主要起着调节大学组织内部关系的作用,它是构建大学制度过程中的内在制度。
本研究探讨丁酸梭菌液体发酵龙眼多糖的最佳发酵工艺以提高丁酸梭菌的活菌量及发酵液中总多糖的含量,并通过UC小鼠模型来检验发酵液对溃疡性结肠炎的药物干预作用。第一部分