论文部分内容阅读
随着互联网的迅猛发展,公司业务不断拓展,相应业务数据、日志数据也随之飞速增长。业务数据量的不断增长,传统数据库对于大体量数据的多维度实时查询及统计显得越来越力不从心。日志数据的飞速增长,会出现存储及获取低效的难题,大规模日志数据无法集中检索分析,难以从中获取到有价值的信息。
基于上述企业遇到的需问题,满足企业对业务大数据、日志大数据的多维度综合实时查询统计及数据存储的要求,需要选型一种开源技术并设计方案运用到企业的业务场景中。
本文通过以二手车行业-竞拍列表服务重构和日志检索平台搭建为例来介绍搜索引擎ES在企业大数据中的应用。主要的研究工作有:
1)结合课题的研究背景和企业的实际业务需求,将搜索引擎与Java web软件系统有机结合起来。
2)基于市面上各种搜索引擎技术,综合公司技术储备、场景应用契合度、产品稳定性、开源社区活跃度等因素对分布式搜索引擎进行技术选型。
3)基于ElasticSearch技术特点、实现原理、安装配置及可扩展性设计,部署elasticsearch服务实例。
4)基于二手车行业—竞拍系统业务需求,重新设计竞拍系统车辆服务列表,重构竞拍车辆列表服务。并对改造后服务的测试结果进行统计分析。
5)基于ElasticSearch,将Kibana可视化分析平台、Logstash日志收集与搜索引擎集成,搭建日志检索分析平台。利用日志检索平台统计客户访问日志,进行用户行为分析。
本文的研究成果表明在业务软件系统中引入搜索引擎可以提升服务的性能,提高服务的稳定性,改善服务的用户体验;使用搜索引擎搭建的日志检索平台可以解决日志搜索工作量大、日志统计不能可视化、日志数据存储不能动态扩容等问题。本文的研究成果也为企业使用搜索引擎在更多的业务场景中的应用提供了一定的参考价值和技术基础。本文的统计方法和分析手段为企业的在大数据分析方面提供一定的借鉴作用。
基于上述企业遇到的需问题,满足企业对业务大数据、日志大数据的多维度综合实时查询统计及数据存储的要求,需要选型一种开源技术并设计方案运用到企业的业务场景中。
本文通过以二手车行业-竞拍列表服务重构和日志检索平台搭建为例来介绍搜索引擎ES在企业大数据中的应用。主要的研究工作有:
1)结合课题的研究背景和企业的实际业务需求,将搜索引擎与Java web软件系统有机结合起来。
2)基于市面上各种搜索引擎技术,综合公司技术储备、场景应用契合度、产品稳定性、开源社区活跃度等因素对分布式搜索引擎进行技术选型。
3)基于ElasticSearch技术特点、实现原理、安装配置及可扩展性设计,部署elasticsearch服务实例。
4)基于二手车行业—竞拍系统业务需求,重新设计竞拍系统车辆服务列表,重构竞拍车辆列表服务。并对改造后服务的测试结果进行统计分析。
5)基于ElasticSearch,将Kibana可视化分析平台、Logstash日志收集与搜索引擎集成,搭建日志检索分析平台。利用日志检索平台统计客户访问日志,进行用户行为分析。
本文的研究成果表明在业务软件系统中引入搜索引擎可以提升服务的性能,提高服务的稳定性,改善服务的用户体验;使用搜索引擎搭建的日志检索平台可以解决日志搜索工作量大、日志统计不能可视化、日志数据存储不能动态扩容等问题。本文的研究成果也为企业使用搜索引擎在更多的业务场景中的应用提供了一定的参考价值和技术基础。本文的统计方法和分析手段为企业的在大数据分析方面提供一定的借鉴作用。