【摘 要】
：
针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应
【机 构】
：
哈尔滨工业大学计算机科学与技术学院,国家计算机网络应急技术处理协调中心黑龙江分中心,国家计算机网络应急技术处理协调中心
【基金项目】
：
国家“973”重点基础研究发展计划资助项目(G2005CB321806);国家自然科学基金资助项目(60703014);高等学校博士学科点专项科研基金资助课题(20070213044);哈尔滨工业大学优秀青年教师培养计划(HITQNJS.2007.034)
论文部分内容阅读
针对分布式搜索引擎的任务调度及负载均衡问题,提出了基于GNP算法的分布式爬虫调度策略和负载均衡的方法。利用网络距离预估取代大规模的网络距离测量,不仅提高了系统的响应速度,还减少了系统对广域网造成的压力。通过在广域网上部署爬虫节点,构建分布式搜索引擎,应用该调度策略进行实验,验证了系统性能有较大提高。
其他文献
随着世界经济的不断发展,运输行业之间的竞争越来越激烈,走在我国运输业第一线的铁路运输事业受到了前所未有的冲击。铁路企业的日常业务中充斥着大量的信息,而这些信息又随
本文从中美IP/WTO第一诉论及两国IP保护尤其是刑法保护力度问题。作者在全面分析了争诉原因和两国立法与司法机制差异的前提下,基于对两国IP保护强度综合评价指标的测算,认为
商业的集聚化已成为当下流通领域的主要趋势,而商业集聚区作为市场运作的前沿阵地已成为商业企业争夺市场、提升市场竞争力和传播品牌知名度的主要场所。商业集聚区的健康发
目的研究喹硫平对精神分裂症患者认知功能及生活质量的改善作用。方法将62名住院或门诊的急性期精神分裂症患者随机分为两组,分别给予喹硫平(n=32)和氟哌啶醇(n=30)治疗,随访
主要从技术和管理等层面上考察和总结了电子商务的发展现状 ,阐述了电子商务发展的阶段性和商务模式特征 ,分析和总结了企业电子商务发展和应用的制约因素 ,刻画了电子商务的
<正>文献研究显示,关于思想政治课简约教学的研究成果,最早可追溯到陈永中老师发表在《现代教育论丛》2009年第12期上的《关于政治教学简约化的思考》。另外,邵志萍的《高中
本文从让学生了解历史学习的意义和方法开始论述,对学习历史吸取前进的力量和认识到感恩的重要性进行了细致的诠释。
碳化能引起混凝土结构中的钢筋锈蚀,混凝土保护层开裂甚至剥落,对结构安全带来严重的隐患。碳化对结构的影响始终是混凝土结构耐久性研究的重点问题之一混凝土碳化过程包括CO
汉代初建之时,在形势逼迫之下,采取郡、国同存,诸侯国有权开征地方税,对汉初局势稳定,经济进步有一定意义。但推行一段时期之后,威胁到中央统治,中央着手限制地方税权,但地方
现场可编程门阵列(FPGA)作为专用集成电路(ASIC)领域中的一种半定制电路自诞生以来就发展迅速。随着空间电子系统的迅速发展,反熔丝型FPGA以其非易失性、功耗低、集成度高、