基于Hadoop的知识管理系统设计与实现

被引量 : 0次 | 上传用户:hyp88_down
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
科研院所在长期的科研工作中,积累了大量丰富的宝贵数据、资料和经验知识。有效地收集、管理、加工和利用这些知识,是科研院所增强科研人员互相的知识渗透与融合,提升原始创新和集成创新能力的有力措施,急需建立知识管理信息服务平台,为科研院所带来更好的发展机遇。Hadoop分布式计算平台随着云计算技术而出现,为科研院所解决以上难题提供了可行的途径。运用Hadoop平台存储知识文档可以提升科研院所文档存储与数据计算能力。针对中国工程物理研究院面临的信息资料内容庞大、文件类型繁多;信息或知识查找和获取成本高;缺少有效的知识管理工具等问题,本文为了解决科研知识文档的大容量存储与处理,设计研发了基于Hadoop的知识管理系统。在深入学习、研究HDFS文件系统和MapReduce并行计算框架的基础上,选择以HDFS分布式文件系统作为知识管理系统的底层文件系统,MapReduce编程框架作为文档数据处理工具。重点分析研究了Hadoop平台的HDFS分布式文件系统体系结构、存储原理,MapReduce编程模型的体系结构和实现方法,Lucene全文检索框架的系统构成及SSH分层架构模型。基于知识文档数据处理特点,全文检索基本原理、日志分析工作机制及个性化文档推荐算法的分析与研究,提出了系统的优化和改进措施。并对基于Hadoop的知识管理系统进行了设计,主要包括系统的业务架构、逻辑架构、数据架构和部署架构,以及全文检索、日志分析和个性化文档推荐等三大功能模块;采用分页Bean和数据持久类技术,完成了系统的分页显示、数据库访问等常用功能的设计与实现。最后,通过构建的软硬件环境,Hadoop集群和源代码编写,完成了系统的三大功能模块的研发。通过功能模块的测试,验证了系统的可行性和可靠性,数据容错性好、安全、稳定。
其他文献
无论在烟草种植还是卷烟产量及销量方面,中国始终保持着世界第一的位置。烟草业长期以来是我国的利税大户,从1996年的900亿元税利上升到2013年9559.86亿元,烟草业已经成为国民经
情感谈话节目作为我国电视荧屏中一种典型的节目类型,它从出现到现在经历了巨大的变化,无论是节目形态还是播出平台。本文将我国电视荧屏的情感类电视谈话节目作为研究对象,从其
目的:分析慢性乙型重型肝炎中医总体证素特点、各期证素特点,探讨慢性乙型重型肝炎证素分布及证候发展规律。方法:采取前瞻性的研究方法,选取2009年10月—2012年12月的慢性乙
背景早产占全球总出生率的6%~10%,每年大约有1300万早产儿并且有100万早产儿死亡,准确的预测和诊断自发性早产是非常困难的[1,2]。早产仍是产科尚未解决的难题。在所有的新生儿
品牌战略是企业发展战略的核心,越来越多的企业认识到品牌资产、品牌效应的重要性,广告传播是实现品牌战略和企业发展战略不可或缺的手段之一,但现实生活中很多的广告传播脱
目的:通过文献研究探讨慢性前列腺炎中医证型与前列腺触诊的相关性。方法:对近30年慢性前列腺炎文献资料进行检索,遵循循证医学原则,应用EXCEL建立数据库,将文献进行二次录入
目的:探讨充血性心力衰竭的中医证候要素分布特点,为今后的相关证候标准确立与临床研究提供依据。方法:对符合要求的充血性心力衰竭的现代文献进行整理分析,提取各复合证型的
目的:研究和胃降逆法对反流性食管炎的临床症状及食管黏膜内镜分级的影响。方法:选择120例反流性食管炎患者,分为中医治疗组、西医治疗组。中药治疗组以和胃降逆法治疗,选用
随着城市化进程的不断加快,城市人口老龄化问题日益凸显,老年人的居住需求问题逐渐引起了人们的重视。发展养老地产是顺应社会发展的必然趋势。对养老地产市场需求进行分析,对于
目的:编制类风湿性关节炎中医证素评定量表。方法:采用反应度法、t检验法、相关分析法、因子分析法对条目进行联合筛选,有3种以上方法提示需要被删除的条目将考虑删除,再结合