【摘 要】
：
网络爬虫是互联网运行服务的重要组成部分,并为整个互联网、企业内部网和大型门户网站提供搜索和索引。为解决现有爬虫方法在效率方面的问题,本文介绍了Nutch分布式爬虫工作
论文部分内容阅读
网络爬虫是互联网运行服务的重要组成部分,并为整个互联网、企业内部网和大型门户网站提供搜索和索引。为解决现有爬虫方法在效率方面的问题,本文介绍了Nutch分布式爬虫工作流程及机制,通过分析Hadoop下的Nutch网络爬虫,在Nutch分布式爬虫的参数方面、Hadoop的I/O模型和Nutch分布式爬虫小文件问题三个方面做了相关优化。实验结果表明,优化后的网络爬虫能更有效的爬取网络资源,能在较大程度上提升网络爬虫效率。
其他文献
目的：探讨二尖瓣成形术后机械性溶血性贫血的原因和外科治疗方法及效果。方法：2005年1月至2010年9月，有7例患者确诊为二尖瓣成形术后机械性溶血性贫血。第1次手术在笔者单位行二
自20世纪90年代末期开始试点和推行的中国国库集中收付制度改革,无论是在广度上或是在深度上都突破了传统管理模式,并积累了一些成功的经验。同时也要看到,中国国库集中收付
道德意志指人们在履行道德义务或决定道德行为的过程中自觉、自愿地作出抉择、克服困难的顽强力量和坚持精神。一贯性、果断性、自制性和坚韧性是个体道德意志品质的主要表现
农业是最古老的产业,是国民经济的基础,支持和促进农业发展是一个政府永恒的职责和主题。财政是保障国家政权运行、维护民众利益、促进经济社会稳定的物质基础,是国家支持和
19世纪下半叶,清王朝日趋衰微,而西方资本主义国家的发展却非常迅速。英国于18世纪末在印度建立殖民统治后,19世纪又发动了3次侵缅战争,逐渐吞并了缅甸全境；法国在印度、缅甸
目的 对苏州地区非结核分枝杆菌肺病((nontuberculous mycobacteria,NTM))临床特点、耐药特点进行分析总结,以提高NTM肺病诊疗水平。方法 选取苏州市第五人民医院2014年9月至
"四个全面"战略布局作为马克思主义中国化的最新理论成果,为当前促进全面小康社会建设和实现中华民族伟大复兴中国梦提供了科学的行动指南。丰富的理论内涵与科学的实践内容
<正>一、2018年虚假新闻的基本特点经过2017年的"略显沉寂",2018年特别是下半年来的虚假新闻又呈现出"欣欣向荣"的态势。截至2018年年末课题组搜集到的虚假新闻案例,与前一年
随着我国金融业的发展,作为金融业核心的商业银行业也在快速发展,发展就会带来机遇和挑战,其中重要的挑战之一就是风险的管理问题。现阶段我国商业银行比较重视防范其决策风
82宪法实施30年来,历经四次修改,在保障和维护公民各项基本权利的同时,也改变着公民的生活方式。因为宪法本身就来源于生活,又为了优良的生活而存在。宪法要求国家尊重公民个