整个网络中的信息按深度可分成两个层次,表层和深层。表层主要包括“静态网页”,是指以文件形式静态存放在服务器上的数据信息。深层则主要包括“动态网页”,是指隐藏在表单背后,需要进行查询输入,由后台数据库动态生成的数据信息。这些“动态网页”信息也被称作深层网络信息、Deep Web信息、Hidden Web信息,具有数量大、质量高、结构化等特点,但目前传统搜索引擎却无法将这些信息索引。如何大规模自动获取深层网络信息成为当前技术难题和研究热点。本文对目前获取深层网络信息的主要方法进行研究,分析这些方法各自的优缺点后,决定采用扩展当前搜索引擎爬虫能力的方案,使其能够自动填写表单、构造查询URL,从而获取到返回页面,这样,搜索引擎便能像处理普通静态页面一样将其索引,最后呈现给用户。为了达到上述目的,需要解决以下几个主要问题:(1) HTML表单的形式繁杂,如何正确的发现提供深层网络数据源接口的表单并将其有用信息提取出来。(2) HTML表单的控件类型多种多样,如何选取查询值组合,尤其是如何生成文本框输入值。(3)如何从查询返回页面中提取有用信息。针对以上问题,本文对传统搜索引擎爬虫进行分析和优化,给出深层网络数据源发现及表单接口提取、自动填写表单内容、查询返回页面内容抽取、深层网络信息获取过程中语义元数据的提取、抓取后页面内容更新等关键技术的解决方案和算法。最后在传统爬虫的基础上进行扩展,构建一个深层网络信息发掘系统。同时,进行实际运行测试,得出实验结果以验证相关技术的正确性。