【摘 要】
：
重复文档检测是信息检索领域中一个非常重要的问题.由于网页结构和内容的复杂性,现有方法在网页查重上没有达到很好的准确性,且只有少量工作用于处理包含关系网页检测问题;同
【机 构】
：
南京大学计算机科学与技术系南京210046
【出 处】
：
中国计算机学会第一届CCF大数据学术会议
论文部分内容阅读
重复文档检测是信息检索领域中一个非常重要的问题.由于网页结构和内容的复杂性,现有方法在网页查重上没有达到很好的准确性,且只有少量工作用于处理包含关系网页检测问题;同时,由于网页数量的巨大,重复网页检测处理时需要考虑大规模数据的并行化算法.提出一种基于句号特征的大规模重复中文网页检测方法CCDet.CCDet采用了一种基于中文句号特征来完成重复文档的相似性比对方法,与现有的主要重复网页检测算法相比,CCDet大幅提高了检测具有重复关系网页和具有包含关系网页的准确性,并拥有较高的检测效率.同时,为了适应大规模新闻网页的查重处理,使用MapReduce编程框架实现了并行化的CCDet算法,使之能够并行化地进行重复网页检测.实验结果表明,并行化的CCDet算法具有较好的检测效果和计算性能,并具有良好的可扩展性.
其他文献
采用机械共混法制备PVC基弹性体,研究了聚合物的质量配比、增塑剂的用量及增塑剂的配合使用对体系性能的影响,并考察了填料对体系性能的影响.结果表明,通过不同的聚合物质量
漆酶是一种多酚氧化酶，在环境保护、造纸等许多领域都有研究和应用。介绍了漆酶特性及其酶活性影响因子，讨论了漆酶在人造板等工业中的应用。提出了漆酶在林产工业中的应用。
中国海相碳酸盐岩油气勘探近年来进展很快,发现了一批大型油气田。塔中地区是塔里木盆地的重点勘探区和富油气区,奥陶系蕴藏了丰富的油气资源。奥陶系良里塔格组受塔中I号坡
研究了反式-1,4-聚异戊二烯（TPI）及环氧化反式-1,4-聚异戊二烯（ETPI）对聚氯乙烯（PVC）性能的影响,并与丁腈橡胶、粉末丁腈橡胶、氯化聚乙烯改性PVC做了比较。结果表明：不同环氧度的ET
在国家经济新常态的大背景下，烟草行业自身“小气候”不可避免地发生变化，行业经济运行呈现出一些新的变化和特点。根据商洛市卷烟消费市场调查收集的有关数据，建立卷烟需求神经
采用印度洋偶极子指数（dipole mode index,简称DMI）、Nino3指数和国内学者定义的5种东亚夏季风指数来比较分析印度洋偶极子（Indian Ocean dipole,简称IOD）、ENSO与东亚夏季风年际
选用聚丙烯接枝马来酸酐（PP-g-MAH）为增容剂,以聚丙烯（PP）、聚氯乙烯（PVC）不相容体系为基体,采用双螺杆挤出机制备了PP/PVC共混物混合料。研究了不同PVC组分比及增容剂对PP/PVC共混
巴黎郊区发展的现状、过程和特点表明郊区城市化在国际大城市发展中的作用和地位，也提供了国际大城市郊区发展的经验和教训。
综述了一种新的热分析技术--调制式差示扫描量热法(Modulated Differentail Scanning Calorimetry).对其工作原理、优点及在高聚物研究中的应用作了简介.
园亭，是指园林绿地中精致细巧的小型建筑物。可分为两类，一是供人休憩观赏的亭，另是具有实用功能的票亭、售货亭等。