论文部分内容阅读
利用用户指定的关键字和搜索引擎生成URL种子,通过分布式网络爬虫抽取符合用户需求的网页作为研究所用的语料.实验结果表明:分布式网络爬虫可以较好地解决在短时间内抽取大量语料的需求.
一种分布式网络爬虫的设计与实现
【摘 要】
：
利用用户指定的关键字和搜索引擎生成URL种子,通过分布式网络爬虫抽取符合用户需求的网页作为研究所用的语料.实验结果表明:分布式网络爬虫可以较好地解决在短时间内抽取大量
【机 构】
：
上海交通大学计算机科学与工程系
【出 处】
：
江西师范大学学报(自然科学版)
【发表日期】
：
2013年04期
【基金项目】
：
国家自然科学基金(60773087)资助项目
其他文献
<正> 近年来,随着开放政策的贯彻实施,改革之风也吹进了文艺理论、文艺批评领域。一批富有朝气的中青年理论批评工作者,开拓思维空间,变革思维方式,确立主体意识,写出了一批
本文提出基于GSM移动通信网GPRS(general packet radio service)功能的远程移动心电监护系统,对心电信号进行自动监测、分析、语音告警,并建立病人的心电数据电子病历档案和
农村电商的快速发展是农村信息化建设进程的重要体现。受制于基础建设、资金投入及农民意识等因素,农村电商的发展面临着一系列问题,本文就我国农村电商发展现状及存在的问题
盾构法施工现已成为地铁区间暗挖隧道施工的主流工法,在盾构施工过程中,无论是应用土压平衡盾构还是泥水平衡盾构,盾构掘进期间的纠偏控制和管片选型都是关键技术。如能控制
思维方式的差异是造成文化差异的一个重要原因,中西不同的思维方式导致了文化的不同,如茶与咖啡在理念与行为方式的差异,了解这两种文化背后所隐含的思维方式差异有助于我们
中西茶文化在不同的时空有着差异,同时也有很多相似之处。本文从中国茶与西方咖啡的文化及起源开始研究,并且对中西茶文化在茶室、饮茶起始时间的差异、品茶文化的差异和影响
利用钢轨焊接接头不平顺测量仪Railprof,测量并分析国内某高铁线路钢轨的焊接接头区在打磨前后几何不平顺的变化,发现钢轨打磨能够减小焊接接头的不平顺幅值。基于车辆-轨道
被誉为"当代八大散文家之一"、连续十年被评为"台湾十大畅销书的作家"的林清玄至今已是华语世界里家喻户晓的纯文学作家。其作品成功的原因很多,笔者拟从文艺学入手,深入探究
本文以Z服装供应管理公司为例,根据服装行业的特性及Z企业库存实际数据和该公司仓库的特征,对库存进行季节性预测,建立了科学的服装库存优化预测模型,解决服装类第三方物流企