基于主题网络爬虫的程序设计资源库建设研究

来源 :大学教育 | 被引量 : 0次 | 上传用户:ylzhou40
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,在国内高校中程序设计课程的资源库建设工作尚未普及,大多数教学资源存在较为严重的老旧、重复等问题,难以满足师生日益增长的对大量新颖教学资源的需求。针对现在流行的网络爬虫框架进行分析和选择,在现有框架的基础上设计了一种适合资源库建设的爬虫系统,利用爬虫的自动化特性完成教学资源库的内容获取及入库工作。同时,选用Scrapy-redis对爬虫进行拓展,利用Redis实现对目标网站资源的分布式爬取,提高获取资源的速度。选用SimHash算法对爬取到的资源内容进行相似度判别,过滤掉相似度过高的资源,完成对资源库
其他文献
南京城东隧道采用自然通风方式,为判定其在火灾工况下能否满足安全性要求,开展了火灾工况下隧道自然通风模型实验,考察了最不利工况下烟气排除效果。从理论上探讨了模型与原
二茂铁及其衍生物由于其独特的光学、电学、催化等性质,在修饰电极上的开发与应用研究引起了人们极大的关注。本论文采用包合法、电聚合法及纳米掺杂法将二茂铁及其衍生物修
无线通信系统的迅猛发展带来了天线行业的勃勃生机,各种军事需求也推动着天线设计的不断更新。近年来,超宽带小型化天线已成为国际天线研究的前沿之一。本论文对超宽带缝隙天
我国的三级训练模式在计划经济时期曾经成功地运作过,为我国培养了一大批优秀运动员,为竞技体育的发展做出了巨大的贡献。但随着市场经济的发展,三级训练模式暴露出一系列的问题
本文采用液相还原法制备了铁镍纳米合金,即以KBH4为还原剂,在分散剂PEG存在下,于水相中将Fe2+、Ni2+还原为纳米微粉。TEM结果表明该合金具有须状结构,长度为200~400nm,直径2~4nm。纳
研究对象与目的 通过对两大经济区域——代表相对成熟的现代企业治理水平的美欧与代表新兴市场经济的东南亚——中的家族企业的比较,找出东西方家族企业治理的共性和差异及
最近一段时期,黑社会性质组织犯罪案件因为其在诉讼过程中激烈的诉辩、审辩对抗,成为各地各界检验刑事诉讼法运行的一大试金石。辩护律师滥用程序性权利与法官及公诉人对抗造
<正>食管支架应用于临床已有50余年的历史,其应用日趋广泛。本院自1997年1月开始至2014年3月共完成食管腔内支架置入术772例,取得了良好效果,现报告如下。食管支架置入适应症
气体钻井对于防止井下复杂有明显效果,能较大幅度提高机械钻速,节省钻头,提高采收率,有利于环保,近年来,在国内外应用得越来越广泛。国内气体钻井技术迅速发展,取得了一定的阶段性成
木聚糖酶可以降解麦类饲料中的木聚糖,降低消化道食糜的黏性,破坏植物细胞壁,释放细胞内的养分,促进动物对饲料中营养物质的利用。毕赤酵母(Pichia pastoris)表达系统是目前分子生