摘要:随着社会信息化的迅猛发展,网络已经成为人们获取信息的重要来源。而网络信息具有海量,复杂,非结构化等特点,为网络信息的获取以及基于网络信息搜集的分析与研究工作都带来了很大困难。网络信息采集处理平台整合了网络信息获取及处理中的各项关键技术,实现了将复杂、非结构化的网络信息进行整理以及结构化存储的功能。本文综合介绍了B/S架构的网络信息采集处理平台设计,构建与实现技术,合理地设计了一整套具有创新性的用于信息采集和信息处理的技术方案。系统描述了方案中的各实现环节,具有针对性地解决了网络信息采集处理平台中的由网络信息数据特性所带来的难题。本文的主要创新点及研究工作包括:一、将网页URL分析和匹配技术引入网络信息处理设计方案中,在基于网页解析模板进行网页解析及网页信息抽取时,用于辅助网页筛选、网站识别、解析模板选择和网页之间联系的发掘,优化了网络信息处理模块设计,改善了信息处理效率和准确度;二、创新性地提出了基于哈希函数的“抽象特征码比较法”,用于识别重复网络信息数据,避免由页面二次解析带来的重复数据存入数据库,通过相关实验及实验结果分析,验证了该方法对于海量网络信息数据存储效率有较大程度优化。三、在对Nutch爬虫系统进行深入研究的基础上,改进Nutch爬虫系统,进行多线程封装和配置接口设计,实现了分布,可灵活配置的信息采集模块。基于以上研究成果,本文规划了网络信息采集处理平台的总体框架结构,设计了系统功能模块逻辑,数据库结构和用户界面;应用新型GWT(Google WebToolkit)工具开发了交互性良好的用户界面;引入多线程技术对平台的信息处理效率进行优化,并通过相关实验加以验证。最终实现了一套运行稳定,效率优良的网络信息采集处理平台。