论文部分内容阅读
设计了一种网页数据采集系统。采集的数据统一保存到系统数据库,系统辅助用户完成常规采集参数的设置,包括访问间隔时间及数据存储方式等。用户对需要采集的数据进行描述,多次训练系统进行数据采集,生成数据识别模型。在目标网页发生变化时,在一定的范围内根据识别模型自动进行修正以适应新的网页结构,减少采集工作的人工干预工作量。