Hadoop下改进布隆过滤器算法的网页去重

来源 :计算机工程与科学 | 被引量 : 0次 | 上传用户:zhangtao870508
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对服务器中存储的大量重复和相似数据造成的空间浪费问题,改进的布隆过滤器(Bloom Filter)算法通过增加位数组并根据位数组的重复命中次数所计算的权重来动态优化重复数据的副本数,然后在Hadoop分布式集群下对改进的算法进行并行实现,以进一步提高作业处理效率。实验结果表明,与传统网页去重算法相比,改进的Bloom Filter算法的并行实现不仅提高了作业的处理效率,而且通过基于位数组下动态重复次数对副本数的优化,在一定程度上节省了服务器的存储空间。
其他文献
近日,在2014年中国家电博览会上,TUV南德意志集团(“TUV SUD”)为莱克电气股份有限公司(“莱克电气”)正式颁发了欧盟新能源标识指令(ERP)认证证书。莱克电气获得TUV SUD在中国颁出的
<正> 一辆解放CA141汽车,因离合器摩擦片磨损,更换了摩擦片总成。但修后的汽车,变速箱换挡打齿,发动机的动力不能全部传给驱动轮,离合器接合时间稍长还有一股橡胶烧焦的气味
<正>~~
期刊
合肥荣事达洗衣设备制造有限公司,是美的集团旗下专业从事洗衣机的开发、生产、销售和售后服务的企业。现有2万平米的现代化办公研发大楼、6条全自动洗衣机生产线、8条双桶洗
本文介绍了美国国家光伏标准ANSI 1703新防火测试的发布背景,光伏系统防火测试等级分类、测试条件、测试方法及测试方案。
美国、欧盟等相继出台了计算机产品的待机,关机和工作状态能耗要求,对国际贸易影响重大,本文就欧美等国家对计算机产品的主要能效要求和相关指标予以分析。
日前,享誉全球的产品安全事业领导者UL,与全球个人电脑市场的领导者联想PC产品集团签署了合作谅解备忘录,并达成多项备忘协议。基于全球战略合作伙伴的关系,UL与联想在原有业务的
近期,上海市质监局对全市所有获得室内环境污染检测资质的检测机构开展了“室内环境污染检测”能力验证活动,分为现场采样和盲样考核两个阶段。现场采样关注的焦点是甲醛、TVOC
从多角度拍摄同一物体所得不同视角图像中的关键点的匹配对图像三维重建至关重要。为了得到精准的角点匹配对,提出了基于图像尖锐度角点匹配的新算法。该算法分为3个步骤:第1,为最大限度避免噪声的干扰,使用Canny算子先检测图像,进而使用8邻域轮廓追踪算法追踪边缘点得到边缘轮廓线。第2,计算轮廓线的尖锐度获取图像中的关键角点。第3,先粗匹配利用零均值归一化互相关法建立不同图像角点间一对多的关系,再进行精匹