基于Heritrix的信息获取系统的研究及实现

被引量 : 1次 | 上传用户:alim_zheng
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的普及与发展,信息在社会中传播的速度和广度都得到全所未有的扩充。如何发现网络舆情热点,制止网络谣言传播,快速做出舆情应对措施,成为舆情相关方迫切面临的一个难题。本文关注的舆情监控系统依托“十二五”科技支撑项目,立足于农产品范畴,围绕舆情报告、情感正负面分析等系统功能,旨在开发出一款食品安全监管方面的舆情监控系统。系统的开发应用不但会使舆情监控的工作量大幅减少,而且可以提高应对网络舆情的处置速度。信息获取系统作为舆情监控的重要子系统之一,围绕信息获取的功能点,对该子系统进行了研究及实现。本文的主要工作和贡献如下:首先是以Heritrix为基础,为舆情监控平台定制开发了自有的信息抓取方式,扩充了原有Heritrix处理链。扩充处理链包括灵活度更高的域名过滤,增加ContentType类型过滤,关键词过滤等三种过滤方式,提高了信息抓取的效率。此外在信息抓取的环节提出了节点网页的概念,并借助该概念和Heritrix的定点恢复功能实现信息获取系统的增量抓取功能。此外,本文整合了实验室原有的微博信息抓取功能,从而实现了微博、新闻以及论坛三者数据源的信息抓取。在信息抓取的基础上,本文采用XML文件模板抽取的方式对新闻文本和论坛文本进行了非结构化信息抽取,并对抽取的信息进行了基本的分类整理,为下一步的文本分析提供数据材料。最后是在实现系统功能的同时进行了大量的抓取实验,对各个过滤链和增量抓取等核心功能模块经行了对比测试,并分析了实验数据。本文的信息获取系统从网络舆情的角度协助食品的安全生产监督工作,相对来说是一种比较创新的监管方式。此外本文提出了节点网页的概念,并借助信息抽取的结果反馈给信息抓取过程,实现了自有的增量抓取方式。目前,基于本文的信息获取系统实现了全量和增量两种获取方式,成功得到了包括新浪,天涯,即刻搜索等大中型网站共计十多万条数据记录。
其他文献
和谐社会是中国共产党、中国政府和中国人民的共同理想与追求。儒家一直推崇的“德主刑辅”治国理念在中国历史上又占据着极为重要的地位,由此本文的研究通过对历史变迁中“德
本文利用2011年北京大学跨文化交流与管理中心“中国文化印象调查”中的美国数据,使用多元回归分析、因子分析方法,研究了在美国举办的中国文化展览的美国观众的特征。结果显示
本论文对半乳糖簇化合物进行了研究,合成了多种半乳糖簇分子,通过1HNMR、13C NMR、COSY等证实了其结构,对它们的肝靶向性作了初步的探讨,通过紫外分光光度法开辟了一条新的测量化
在中小学阶段开展中华优秀传统文化教育是弘扬中华优秀传统文化和培育民族精神及民族认同感的根本途径。西藏作为我国的少数民族地区,拥有独特的民族文化,西藏中学生在适应中华
固体化学物质由于分子的构型、构象、排列方式及分子间作用力等因素影响,可能会存在多种不同的晶型状态。对于固体药物来说,由于晶型状态的不同,导致其理化性质、生物利用度甚至
随着中国经济、政治、军事实力的逐步增强,中国国家形象已变得越来越重要,良好的国家形象会提高一个国家的国际竞争力,是影响和构建国际关系的新要素。但是,国际社会中的中国形象
随着科学技术的发展,信息技术在教育教学中得到了广泛的运用,在基础教育研究领域,信息技术与中学数学课程的整合成为学术界备受关注的话题之一。笔者将从信息技术与中学数学
邴雅珺主任医师为甘肃省第五批名老中医学术经验继承工作导师,从事中西医结合教学、科研和临床工作20余载,在冠心病的治疗方面有着丰富的经验,尤其从脾胃论治冠心病取得了较
雷达自动目标识别技术在军事和民用上拥有巨大的应用价值。随着宽带雷达技术的逐渐成熟,雷达可以获取更多的目标信息,这为雷达自动目标识别技术的发展提供了强有力的支持。作为
英语歌曲歌谣以其鲜明的节奏、丰富的韵律和包含其中的文化内涵和魅力成为小学英语教学的一项重要学习内容和不可缺少的基本教学手段,其在语言学习、情感和心理、认知、文化学