基于Python爬虫的校园数据获取

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户：chenan110

【摘要】

：

摘要：随着移动时代的到来，只适配了电脑网页、性能羸弱的校园教务系统，已经不能满足学生们的移动查询需求。为此，设计了一种基于网络爬虫的高实用性查询系統。它首先通过Python爬虫以HTTP（hypertext transport protocol）分析与模拟方法获取校园教务系统的网页数据，然后对网页数据进行HTTP解析并定位以精确抽取目标校园数据，最后存入高速NoSQL数据库以供快速查询。通过课表获

【作者】

：

苏艺航徐海蛟何佳蕾杨振宇王佳鹏

【出处】

：

电脑知识与技术

【发表日期】

：

2019年17期

【关键词】

：

网络爬虫 HTTP分析模拟登陆网络反爬 Scrapy框架 web crawler HTTP parsing simulation login anti-we

下载到本地 , 更方便阅读

下载此文赞助VIP

声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架

论文部分内容阅读

其他文献

桂林熊本友谊馆环境规划设计分析

座落在桂林市西山公园内的桂林熊本友谊馆，是为了纪念桂林市与日本熊本市结成友好城市而建成的仿日民族建筑，占地面积2240m^2。友谊馆建筑面积1790m^2，庭院面积1140m^2。友谊馆

期刊

环境规划设计桂林市占地面积民族建筑建筑面积西山公园西湖

夏黄瓜高产栽培技术

夏黄瓜的采收期正逢蔬菜淡季，鲜瓜上市价格稳定，经济效益好。此外，由于夏季温度高，日照较长，光照较强，暴雨骤雨多，往往出现雌花着生节位升高，雌花数少，病虫害多等问题。为种好夏黄瓜，实

期刊

夏黄瓜高产栽培技术经济效益雌花数采收期病虫害种植户蔬菜

豇豆秋延后优质丰产栽培技术

豇豆又名豆角，原产亚热带地区，耐热性强而不耐低温，植株生长的适宜温度为15-30℃，是春、夏、秋季的重要蔬菜之一，对蔬菜周年供应，尤其是8～9月的淡季供应有着重要作用。

期刊

优质丰产栽培技术豇豆秋延后周年供应亚热带地区适宜温度植株生长耐低温

柑桔脱毒容器苗移植技术

在柑桔的无性繁殖过程中，经常会感染一些病毒、类病毒和难培养细菌等病原微生物。为了防止病害的蔓延和危害，20世纪70年代欧美国家开始在柑桔上采用茎尖嫁接脱毒技术，成功地脱除

期刊

柑桔生产脱毒技术移植技术容器苗繁殖过程病原微生物类病毒茎尖嫁接

对我国高速铁路客运量预测的探讨

分析了客运量的影响因素、铁路客运在全国客运市场的地位，提出在市场经济条件下高速铁路客运量的预测方法，即先预测整个客运市场的客运量，再根据高速铁路在客运市场的地位和作用

期刊

旅客运输预测高速铁路客运量客运市场客流密度客动周转量时间模型passenger traffic prediction high-speed

钢筋混凝土构件均匀锈蚀与应力的耦合效应分析

根据钢筋混凝土锈胀动力学及金属力学化学原理，分析了在混凝土完好的条件下，钢筋应力对锈蚀反应速度的影响。通过计算,确证了均匀锈蚀条件下应力因素对钢筋锈蚀速度无显著影响

期刊

应力钢筋混凝土锈胀动力学锈蚀反应速度耦合效应均匀锈蚀reinforcing steels stresses reinforced concret

冲击诱发材料相变及本构模型

从OTC统计模型出发,利用修正的B-P方程给出了冲击条件下应变率、应变、应力、马氏体相变率、马氏体相变组分等物理量之间的耦合关系.其中将冲击过程看为绝热过程,并且在非超

期刊

马氏体相变冲击相变304奥氏体不锈钢OTC统计模型本构模型冲击力学应变率impactphase transformationsmartensi

格蕴涵代数的拓扑结构

给出了格蕴涵代数中弱滤子的概念,对弱滤子的性质和结构进行了研究,证明了格蕴涵代数中全体弱滤子构成一个拓扑结构,格蕴涵代数之间的蕴涵同构是相应拓扑结构之间的拓扑映射.

期刊

格蕴涵代数弱滤子拓扑结构蕴涵同构拓扑映射蕴涵同态lattices algebra lattice implication algebra we

无线网络安全问题研究

摘要：2018年的“中兴事件”让我国信息产业备受关注，也让信息安全与网络安全上升为全民话题。目前，我国无线网络安全出现的威胁此起彼伏，网络安全问题十分严峻。如果没有网络的安全，就没有国家的安全。因此，我们只有树立正确的网络安全观，把握好当前网络安全严峻的形势，积极采用新策略，才能科学提高国家网络安全的整体实力。　　关键词：无线网络；安全；问题；研究　　中图分类号：TP393 文献标识码：A　　文章

期刊

无线网络安全问题研究

荔蒲芋引种及施肥试验初报

荔蒲芋富含淀粉、蛋白质等多种人体必须的营养物质，适合加工成多种美味可口的菜肴，也可作主食代饭，深受广大消费者喜欢，目前市场前景好，有较大的发展空间。根据罗甸冬短夏长、雨量

期刊

荔蒲芋试验初报施肥引种营养物质市场前景气候特点栽培试验

基于Python爬虫的校园数据获取

与本文相关的学术论文