基于ELASTICSEARCH在企业大数据中的应用

来源 :对外经济贸易大学 | 被引量 : 2次 | 上传用户:dapeng0429
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的迅猛发展,公司业务不断拓展,相应业务数据、日志数据也随之飞速增长。业务数据量的不断增长,传统数据库对于大体量数据的多维度实时查询及统计显得越来越力不从心。日志数据的飞速增长,会出现存储及获取低效的难题,大规模日志数据无法集中检索分析,难以从中获取到有价值的信息。
  基于上述企业遇到的需问题,满足企业对业务大数据、日志大数据的多维度综合实时查询统计及数据存储的要求,需要选型一种开源技术并设计方案运用到企业的业务场景中。
  本文通过以二手车行业-竞拍列表服务重构和日志检索平台搭建为例来介绍搜索引擎ES在企业大数据中的应用。主要的研究工作有:
  1)结合课题的研究背景和企业的实际业务需求,将搜索引擎与Java web软件系统有机结合起来。
  2)基于市面上各种搜索引擎技术,综合公司技术储备、场景应用契合度、产品稳定性、开源社区活跃度等因素对分布式搜索引擎进行技术选型。
  3)基于ElasticSearch技术特点、实现原理、安装配置及可扩展性设计,部署elasticsearch服务实例。
  4)基于二手车行业—竞拍系统业务需求,重新设计竞拍系统车辆服务列表,重构竞拍车辆列表服务。并对改造后服务的测试结果进行统计分析。
  5)基于ElasticSearch,将Kibana可视化分析平台、Logstash日志收集与搜索引擎集成,搭建日志检索分析平台。利用日志检索平台统计客户访问日志,进行用户行为分析。
  本文的研究成果表明在业务软件系统中引入搜索引擎可以提升服务的性能,提高服务的稳定性,改善服务的用户体验;使用搜索引擎搭建的日志检索平台可以解决日志搜索工作量大、日志统计不能可视化、日志数据存储不能动态扩容等问题。本文的研究成果也为企业使用搜索引擎在更多的业务场景中的应用提供了一定的参考价值和技术基础。本文的统计方法和分析手段为企业的在大数据分析方面提供一定的借鉴作用。
其他文献
自金融危机以来,贸易保护主义纷纷抬头,许多国家纷纷采取恶意抬高进口关税等贸易保护措施。世界一部分国家间刮起了逆全球化的风潮。金融危机以来至2012年左右世界经济贸易总量得到回稳,然而近年来世界贸易量的增速不断降低,资本流动也受到一定影响。尤其是2018年下半年以来,全球贸易保护主义冲突不断升级,具体表现为中美间的贸易战,各大政治媒体和经济媒体,包括IMF与WTO两大经济组织都分别发文并高度关注。在
伴随经济的发展和居民家庭可支配收入的提高,家庭金融投资行为日益频繁,家庭资产配置需求愈发凸显。然而,相较公司金融,家庭金融行为除受到资产本身风险和收益的影响外,还会受到更多非市场因素的影响,背景风险正是其中一个重要的方面。背景风险通常是指来自背景资产且难以通过资产组合分散的风险,如家庭收入情况、健康状况和房产投资等。为了探究背景风险对居民家庭金融资产配置的影响,本文利用中国城市居民家庭消费金融调查
学位
伴随着国家经济相对稳定的增长以及中国L型经济的逐步筑底,国民可支配收入进一步增加,财富管理行业又将迎来新的发展机遇。而第三方财富管理公司作为财富管理行业里的一个重要组成部分,在历经近10年的野蛮生长后,面对监管趋严以及市场变化带来的影响,不得已自2014年开始逐步进入镇痛转型期。就在第三方财富管理公司疲于应对监管的时候,银行理财子公司于2018年年末从天而降。作为银行理财业务改革的重要执行者,银行
学位
在当前日益激烈的市场竞争环境下,如何保证持续健康发展是财产保险企业面临的严峻课题。从财产保险企业外部环境看,企业需要面对因产品同质化造成的市场竞争加剧和银保监会强监管的要求,内部管理又面临着经营模式由粗放发展向高质量发展的转型,因此成本管控对企业经营起着至关重要的作用,而费用成本管控又是其中的重要环节和内容。同时,财产保险企业作为金融业的一部分又肩负着复杂市场环境下防范风险的重大使命,因此如何站在
学位
本文选取中小板上市公司作为研究样本,将此作为“高送转”的重要研究对象,选取“高送转”的影响因素作为切入点,首先主要研究上市公司采取这种方式的理论分析,随后结合当前这些公司在股权股利以及转股政策方面的情况,对这些公司在股利分配方面的特点展开分析,深入阐述一旦实施“高送转”对策将产生的影响及经济后果。在这一背景之下,笔者选取处于2012-2017年当中的中小板上市公司作为进行“高送转”方面的样本研究数
学位
2013年,私募基金纳入新的《基金法》,正式列入法律监管范畴,这一年被誉为私募基金发展的元年。2014年,基金业协会允许私募基金管理人通过备案自主发行基金,从此私募行业迎来大发展。之后随着A股的不断上涨,私募基金的规模屡屡创出新高。2014年底,中国的私募基金管理规模已达到4000亿左右。随着2015年上半年A股的不断上涨,私募基金的业绩也表现不俗。据格上理财统计,2015年上半年股票型私募基金的
学位
中国是汽车大国,汽车销量已经连续10年位列全球第一,但是我国每千人的汽车保有量仍低于全球均值。随着经济的发展,社会的进步,人民群众工作、生活中对便捷、舒适出行的需求越来越大。在我国汽车总体市场还存在每千人汽车保有量低于全球均值、汽车使用成本高、部分城市采取汽车限行/限购措施等现象的背景下,通过汽车租赁,尤其是互联网经济兴起而带来的网约车服务,借助移动通信和移动互联网的普及和方便快捷高效的服务,在一
学位
对外贸易作为推动经济发展的三大马车之一,一直以来是学术界重点研究的领域,在经济全球化、国际贸易多元化发展迅速的当下时代,各国的经济联系日益紧密,相互之间的贸易活动越来越频繁,这也催生了在新时代环境下重估贸易决定因素的必要性。随着中国金融体系改革步伐的逐步推进,中国资本流动的管制也将逐步放松,这意味着金融市场在未来的发展中将面临着更多的外部冲击和不确定性,而汇率作为联系一国货币与外部货币的金融纽带,
学位
中国经济的持续稳定增长为人民群众生活水平的日益提高提供了物质基础,人们在日常消费中的升级现象在近几年尤为突出,在珠宝首饰市场上体现为消费者从素金首饰产品向镶嵌钻石首饰产品的消费转变。中国镶嵌钻石首饰市场主要由18K金镶嵌钻石首饰和铂金镶嵌钻石首饰组成。近几年,在整体镶嵌钻石首饰市场持续增长的大环境下,18K金镶嵌钻石首饰飞速增长,而铂金镶嵌钻石首饰却没有达到市场平均增长水平甚至下跌,问题存在于整个
学位
汽车行业是我国进出口商品重要构成之一,汽车行业进出口的发展对中国对外贸易以及总体经济发展都有着较大意义。2018年中国加大汽车行业开放,降低汽车行业进口关税,但中美贸易摩擦,对中美间汽车行业贸易发展存在诸多不确定性。本文参考已有汽车行业进出口和中美贸易研究文献,结合古典贸易和产业内贸等相关理论。通过统计分析2014-2018年中美汽车产业的发展情况,并实证分析关税在中国汽车行业进出口中是否存在影响