【摘 要】
：
针对Scrapy-Redis框架占用空间严重,且Redis一旦键过期就会删除全部去重集合内数据的情况,设计基于多维Bloom过滤器的指纹自动过期算法,并采用Python语言实现。实现后的代码通过替换去重类和修改框架内方法等操作,集成到Scrapy-Redis框架中。在测试阶段,将使用重构后框架与使用Redis散列表设置指纹过期时间的方法进行了对比,结果显示重构后框架更能在大规模爬虫中节省大量空间,
【机 构】
：
陕西科技大学电子信息与人工智能学院
论文部分内容阅读
针对Scrapy-Redis框架占用空间严重,且Redis一旦键过期就会删除全部去重集合内数据的情况,设计基于多维Bloom过滤器的指纹自动过期算法,并采用Python语言实现。实现后的代码通过替换去重类和修改框架内方法等操作,集成到Scrapy-Redis框架中。在测试阶段,将使用重构后框架与使用Redis散列表设置指纹过期时间的方法进行了对比,结果显示重构后框架更能在大规模爬虫中节省大量空间,同时能够在满足误判率低于万分之一的情况下实现指纹的自动过期。
其他文献
大数据为高校网络思想政治教育提供了更加准确的数据背景和丰富可靠的教育方法及技术手段 , 提高了高校思想政治 教育的针对性与科学性。本文通过探讨大数据社会分析手段,探
武术文化是沧州地域宝贵的文化资源,其资源集技艺、历史、人物、事件、文物遗产于一体,是多元文化形式交叉的文化存在,但其表现形式不利于教育和核心价值的传递。通过对文化
用抽象代数来处理伽罗瓦理论由阿廷完成,他重视线性代数方法,成功绕过本原元素定理而证明了伽罗瓦理论的基本定理。文章在已有研究的基础上,分析了阿廷成功解读伽罗瓦理论的
大剂量甲氨蝶呤（high-dose methotrexate,HD-MTX）化疗后可能出现消除延迟,并造成骨髓抑制、黏膜损伤、肝肾功能损害等严重不良反应。如何减少消除延迟的发生,并通过预防和解救
随着时代的发展和我国经济的逐渐增长,为了使得我国的经济形式能够更加适应当前的实际市场环境,有必要对当前的经济体制进行一定的改革,以促进我国经济能够又快又好的实现更
目前阀芯生产装配设备已得到逐步发展,出现了适合企业机械化、工业规模化生产的自动化阀芯装配在线检测设备。为了有效减轻阀芯装配工人的劳动强度,提高企业生产效率,节约生产成本,某阀芯生产流水线由人工装配方式优化为自动化装配方式。通过研究阀芯的结构、装配工艺、质量要求,对设备布局、机械结构、控制单元和检测单元进行了设计、组装、调试,成功开发出一台满足该阀芯自动化装配需求的设备。原来4人一组的生产流水线,由
对于多相电机定子绕组或逆变桥开关管开路造成的故障,其故障信号常被电机噪声和环境噪声所淹没。现提出一种将LMS-自适应滤波算法和经验模态分解(EMD)结合的特征信号提取方法
"知行合一"要求有了正确的思想认识,还要将之运用于实践,让实践和认识相统一,知行合一如何运用在职校学生的职业道德教育中,提出了一些参考做法。
随着现在经济逐渐提高,科学技术也有所发展,现在也是信息化的时代,科学信息技术运用到了各个方面,推动着每一个领域和行业的发展和改变,教育行业也不例外。对此,我们国家强调
通过对窖面卸菜系统链条机的改造与应用,解决了过去主动齿轮、链条磨损速度快,更换频繁,链条运行中检查维护、维修困难,运行检修成本高的难题。通过改造有效提高了设备运转率