基于Elasticsearch的新闻实时词云系统设计与实现

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:pb8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在现今信息技术极速发展的背景下,全世界每天将产生数以千万的新闻数据,如何对这些新闻数据进行精准的快速查找,如何找出这些数据中的热点新闻,采用传统的查找方式已经不合适。对于企业而言,新闻数据背后隐藏着很大的价值,如何合理的利用这些新闻数据,已成为现在研究的热点。通过对大量新闻数据的分析,基于新闻数据自身所具有的特点,本系统选择合适的关键词提取算法对新闻数据提取热点,选择当前最为流行的Elasticsearch全文搜索引擎提供ms级的搜索服务,并且设计出高吞吐、高可用和高性能的框架处理海量数据,最终设计并实现了新闻实时词云系统。该系统通过对新闻数据的关键词提取,生成易于观测的热词词云,同时向用户提供新闻搜索的功能。此系统的实现分为三部分:数据采集分析器、数据存储管理和词云展示与搜索。数据采集分析器实现对新闻数据的采集、关键词的分析提取,其中采用Ansj算法进行关键词的提取;数据存储管理部分以ElasticSearch为存储核心,提供新闻数据存储功能和高效的全文搜索功能;词云展示与搜索管理为用户提供新闻热词的词云展示,以及搜索新闻的功能。本系统通过Ansj算法对新闻数据进行关键词的精确提取,使本系统提供的数据具有较高的准确性;通过以ElasticSearch搜索引擎为核心的存储介质,使本系统具有很高的稳定性和性能。系统对公司内的新闻进行分析,为用户提供直观的词云页面,同时提供高性能的新闻搜索功能,使用户能快速了解当前新闻的热点,快速搜索相关的新闻。通过结合多种新技术,设计出高可用的框架,使本系统能解决企业的实际问题,是本课题研究的重要意义所在。
其他文献
本文对果鹰大道DN1200PE管道伸缩器破裂事故进行分析,总结得出DN1200PE管的伸缩变形较大,加上施工安装不严格至使伸缩器破裂,以供今后的设计人员参考和借鉴。
阐明地方病防治工作者技术档案的定义以及地方病防治工作的目的,总结分析山东省地方病防治研究所地方病防治技术工作者的现状及地方病防治技术工作者的技术档案管理特点,并结
经济演化是多个异质主体与环境相互作用的过程。异质性是演化理论研究的逻辑起点,但是对于经济演化过程当中涉及到的多重异质性及其在演化过程中的地位和作用,目前缺乏系统研究
<正>海航"减法"海航出售非主业资产的行动仍在继续。作为曾经扩张过激的修正,今年以来,海航出售资产规模近3000亿元,预计仍有千亿资产即将出售。按海航的规划,未来将聚焦航空
文章在Melitz(2003)的经典模型的基础上结合多重异质性,使用中国企业的大样本微观数据,运用Probit模型对影响中国本土出口企业创新的主要因素进行了检验,结果发现全要素生产
观察血管内皮生长因子(VEGF)在正常喉粘膜上皮、慢性非特异性炎症组织、不典型增生及鳞癌中的表达,用图像分析系统定量的方法观察VEGF与肿瘤的生长、浸润及转移的关系,观察VEGF是
随着我国经济的快速发展,人们的物质需求不再局限于只追求数量上的多少,而是开始朝着追求质量高低的方向在转变,着眼于关系到每个人日常生活的农产品,食品安全更是在当前社会
随着中国经济高速发展,突发水污染事件频发,在对社会经济带来巨大损失的同时对居民用水安全及生态环境造成严重影响。镇江自来水公司为应对长江突发水污染事件,建设了集水质监测、原水调蓄、应急处理等多种功能于一体的综合性水源保障工程。它能有效延缓长江原水的进厂时间,实现对突发水污染事件的预警及应急处理,提升供水安全保障水平。该工程在我国尚属首例,目前国内没有针对水源水质安全保障工程的设计规范,污染物在调蓄池
关于参与分配的截止时间,1992年《意见》第298条以及后续的2015年《解释》第509条,还有《规定》第90条虽然都作了规定,但是由于具体含义不清,在执行实务中引起相当大的争议,
本文阐述了正温度系数热敏电阻(PTC)的基础知识及制造流程;恒温加热型PTC的特性和特点。并介绍了恒温加热型PTC在欧三燃滤加热器中的应用情况,及生产过程中的检验方法。