论文部分内容阅读
介绍了一种大规模、高性能、分布式的Web信息搜集器的设计及其Java实现.提出了Crawler设计中数据结构、系统功能模块和相关算法新的设计思想;对设计与实现过程中需要解决的关键问题分布式协调机制、基于内存的URL存储管理等进行了讨论,并提供了现阶段的设计、实现方法和分布式无损链接分析算法.
一种高性能分布式Web Crawler的设计与实现
【摘 要】
：
介绍了一种大规模、高性能、分布式的Web信息搜集器的设计及其Java实现.提出了Crawler设计中数据结构、系统功能模块和相关算法新的设计思想;对设计与实现过程中需要解决的关
【机 构】
：
上海交通大学
【出 处】
：
上海交通大学学报
【发表日期】
：
2004年1期
【基金项目】
：
上海市重点基础研究项目
其他文献
当今社会,随着人们生活水平的不断提高,对物质生活要求亦是不断增加,且更加丰富多彩。因此,观众在视觉上对影视人物造型设计的要求也是越来越高。影视艺术就是通过导演构思、
《卫生管理运筹学》是以运筹学为体系框架,借助运筹学的理论方法 ,研究医药卫生系统最优化问题的一门课程,该课程为新疆医科大学卫生事业管理专业学生的核心课程。其通过建立
针对网络不良信息过滤中训练样本分布不均衡,负面样本对于训练效果无充分贡献,提出了一种利用正面训练样本建立分类模型,并基于该模型实现网络不良信息过滤的方法.模型通过选
人们生活水平的提高,使得人们对于精神文化的要求越来越高,使得影视行业的发展越来越快速。影视行业发展至今,其丰富的影视作品越来越受到大众的喜爱。戏剧影视作为由多种艺
<正>泉州一中是福建省首批办好的九所重点中学之一、省一级达标学校、省首批"示范性普通高级中学"、省首批"高中新课程实验样本校",第十一届、十二届福建省文明学校、现代教
山东栖霞牟氏庄园是中国北方规模最大、全国保存最完整、最具典型意义的封建地主庄园,其饮食文化在国内独树一帜,体现了胶东半岛鲁菜文化特色。本文力图从饮食特色、特色菜肴