在信息化飞速的发展今天,电子商务因为其方便、快捷受到越来越多人的喜爱。eBay (www.ebay.com)就是其中之一的购物网站。由于eBay在全球有着大量的用户,用户的每一次访问,每一次操作都会有日志进行记录,因此网站后台系统每天会产生大量的日志,约1GB/天。这些日志对公司来说是非常珍贵的数据,从中可以提取出丰富的有用信息。然而对日志包含的信息进行提取、筛选、统计是一个十分复杂的过程,这通常需要大量的存储空间和运行开销。而如何将分析出的结果展现给用户也是一个复杂的问题。因此为了对日志进行快速分析并获得数据,并将统计结果友好地展现给用户,我们开发了一个供公司内部使用的日志分析系统一—Logstash。Logstash日志分析系统基于B/S模式,用户通过浏览器获得想要的数据,方便快捷。同时使用了基于MVC模式的Django框架,使系统的职能分工明确,降低了模块间的耦合度。在存储部分,该项目采用了分布式存储,很好地解决了数据量大的问题,提供了高性能、高可靠、可扩展的后台存储功能。在搜索部分,该项目使用了Elasticsaerch开源分布式搜索引擎,从而实现了搜索的实时性、稳定、可靠和易于使用。在前端展现部分,采用了开源的Bootstrap前端框架,使页面布局合理清晰,同时使用了Ajax、jQuery等先进的前端技术进行图表的展现,实现了很好的人机交互。公司的日志分为很多种类,涵盖的不同的领域,每种类型的日志都有其独特的格式。因此,Logstash日志分析系统提供了可扩展的通用接口,方便用户对日志的种类和日志查询的条目进行添加和修改。并且将数据进行一定的统计,通过友好的图表界面展现给公司内部用户,方便用户进行数据分析和故障查询。