论文部分内容阅读
网络技术快速发展,信息资源多种多样,面对具有范围广、信息量大等特点的地震数据共享平台,如何快速又准确地抓取有用的相关信息十分重要,因此爬虫为该地震数据共享平台的重要技术之一。构建使用Docker部署的基于Golang的Crawlab的爬虫框架进行数据爬取及数据处理的地震数据共享平台,解决传统爬虫技术在面对庞大数据量时会出现的效率低下问题。