基于MongoDB的日志系统的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:hui8554974
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着软件系统在现实生活中担当的角色越来越重要,大多数用户都已不仅仅满足于系统可运行,而是开始关注系统产生的各种各样的数据,从众多的数据中,分析、挖掘出了更多更有价值的信息。本文将这些系统运行时记录或产生的、业务范围外的数据统称为“日志”数据。日志数据范围广、种类多、内容杂,但是如今的存储设备已有足够大的容量,让人们可以随心所欲地记录任何关心的日志数据。相对的,找到处理这些数据的手段却成了难题。目前,公司的业务系统每天都会产生大量的日志文件,但没有合适的方法来处理。运维人员在日志数据采集、传输、维护上花费的精力很大,但是收效甚微。庞大的数据量,如果得不到充分的利用,只会白白地占用空间,维护成本却越来越大。现在急需一个集采集、集中、维护于一体的自动化日志系统,为大数据日志的处理提供有效手段。因此,本文给出了一个处理大数据日志的系统的设计与实现,将其与大数据的应用相结合,实现了基于MongoDB的日志系统。由原来低效、处理困难、难以利用的日志系统转变成较为高效、自动化程度高、可进一步分析利用的日志系统。最后,进行了性能测试,编写了简单的示例程序,证明该日志系统在解决大数据日志问题上的可行性。本系统利用maven构建,可以便利地管理项目生命周期的每一个阶段;使用MongoDB存储和管理日志数据,可以利用它的高性能和自带的数据处理工具,来对大数据量的日志进行处理;继承了开源项目log4j的相关类来记录日志,并将log4j集成到业务系统的配置中;使用Tomcat作为项目的服务器,轻便廉价;文档和代码等文件的版本,使用sVn工具来管理,显著降低了管理的难度。本文主要描述了系统需求、项目各模块分析与设计、各模块具体实现,最后给出了验证结果。这一部分描述了从大致框架到局部细节所做的工作。并给出相关图表辅助说明。本项目是使用非关系型数据库进行大数据日志处理的一次成功的尝试,本项目也会为其他同类项目提供重要的参考和借鉴价值。
其他文献
网络流行语作为一种特殊的语言变体,不仅在网络上广泛地被使用,也大有进入日常生活之趋势。近五年来,网络流行语引起了许多学者的关注。模因论的复制传播观点为语言研究带来
Web语义搜索结果排序一直是搜索引擎的主要研究课题之一。但是目前通用的算法例如OntoKhoj排序算法和AKTiveRank排序算法的排序结果并不理想,主要原因是排序思路比较片面,公
作为战略性新兴产业,文化产业已成为中国各省市和地区发展的重点产业之一。吉林省文化资源较为丰富,近年来其文化产业发展取得了显著成绩。本文以钻石模型理论为基础,对吉林
创意在二维广告的设计中起着决定性的作用,传达效能体现了二维广告的最终价值。因此创意和传达效能是二维广告设计的重中之重,只有把握其中要领,才能设计出好的二维广告。
当下正是中国经济和社会飞速发展的关键时期,政治环境的稳定不仅体现着政府执行力的效率,也是影响国家经济建设的因素之一。本文将以地方政府的公共政策执行力作为研究对象,
介绍了石油大学等单位新近开发应用的立式三旋(EPVC系列旋风管和PDC型旋风管)以及卧式三旋(PT-Ⅱ型旋风管)的结构特点。EPVC旋风管通过改进叶片设计方法,提高了细颗粒分离效
根据《大学英语教学指南》要求,大学英语后续课程已在各高校全面展开,后续课程设置以及教学现状越来越受到关注。为分析大学英语后续课程教学现状,针对黄山学院后续课程教学
本文基于供应链视角,对传统专业市场实现转型升级的模式进行全面分析。文章结合"互联网+"的时代特点,对专业市场环境的特点及表现进行了具体阐释,同时从内部和外部两个方面分
饲料原料的储存和加工影响饲料品质,适当的储存条件和加工方式,会降低饲料原料中营养成分的损失,因此良好的储存条件和加工方式对饲料生产是十分重要的。将从饲料原料的选择