论文部分内容阅读
针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署.实验结果表明,该机制能够有效适用于大规模、高性能和分布式的双结构网络爬虫应用.
双结构网络中URL去重机制研究
【摘 要】
：
针对双结构网络的特点及其URL去重面临的挑战,根据Bloom Filter的工作原理,提出一种基于可扩展的动态可分裂Bloom Filter的URL去重机制,并在原型系统中进行实现和部署.实验结
【机 构】
：
东南大学计算机科学与工程学院
【出 处】
：
太原理工大学学报
【发表日期】
：
2016年1期
【基金项目】
：
国家863计划课题基金资助项目:基于内容聚类与兴趣适配的高效内容分发技术(2013AA013503);国家自然科学基金资助项目:具有互补双结构的新型网络及关键技术研究(61472080);中国工程院咨询研究基金资助项目:国家第二网络战略研究(2015-XY-04)
其他文献
氯乙烯单体(vinyl chloride monomer, VCM)是一种重要的化工原料,主要用于合成聚氯乙烯。随着石油工业的迅速发展,氯乙烯的产量在全球直线上升。我国目前年产量约占全球产量
一个国家的国情,包括自然国情和人文国情两大部分。地理学科不仅包含了自然国情的全部内容,而且也包含了人文国情的诸多方面。在内容上具有广泛性的特点。我们应结合国情进行
新中国成立以后 ,在相当长的一段时间内 ,毛泽东几乎是中国唯一的教育改革家和教育思想家。抛开那些非教育的因素 ,即那些过于偏激的非理性的破坏性做法 ,冷静地探讨晚年毛泽
报道了部分药用植物硬实种子萌发率过低和用适度浓硫酸浸泡处理种子以解除硬实，促进萌发的生理本质，为田间大面积人工育苗提供了理论依据。
目的：比较不同用酒方法对四物汤成分的影响。方法：用薄层扫描法测定了５种四物汤中阿魏酸、芍药甙及乙醚溶出物的含量。结果：四物汤酒煎方，所测成分含量最高。酒制当归、熟地黄后水
研究者以239名10岁、11岁和12岁的儿童为实验对象,采用四种作业时间(2分钟、4分钟、6分钟和8分钟)和两种指导语导向(无导向、导向独特性)为实验条件,考察了这些条件对儿童发
卧式车床中六功能式进给箱的用例赵奋盾古晓利古纯效（山西省机电设计研究院）（山西省轻工业品进出口公司）（太原工业大学）卧式车床中的进给箱，可按不同的特征进行分类，若按其功能的多少
为进一步促进安全生产目标管理责任制的落实,全面加强安全生产监督管理,有效遏制生产安全事故发生,9月10日,农五师电力公司出台了《农五师电力公司安全生产约谈制度(试行)》