21世纪,进入了数字信息时代,解决学校、企业、政府机关的大量数据存储问题已经迫在眉睫。根据分析得知,2020年全球数据产出总量将达到40ZB,比2012年的2.8ZB猛增13倍。大数据的存储和备份已经成为了每一个企业竭力追求的方向。集群存储的必要性已经十分明显,它不仅能为企业提供数据存储的便利,更能为国家研发更高端的科技产品提供保障。因此,研究完善的集群存储平台对解决研发新型科技产品过程中数据过量问题具有重要工程意义。本文研究了一种基于Linux操作系统的大数据集群存储管理系统,并在完成开发后,在某商业银行数据平台中试运行。论文主要研究内容分为以下四部分:(1)根据国内外集群系统研究现状,对整个集群系统进行完整架构,对工程应用场景进行介绍,并对开发的集群系统特点以及开发硬件做详细的介绍分析;(2)节点监控功能设计:为了实时监控整个集群系统节点的工作状态,通过设置管理服务器限定时间定时检测集群主机情况,包括网络读写速率分布、磁盘占用率分布、内存占用率分布以及CPU占用率分布;(3)对整个集群系统中最关键的负载均衡技术进行重点研究,针对大规模分布式集群在某一时间存在节点过载的现象,对已有的负载均衡算法进行优化,使得集群服务器能够平均分布已有数据,提升服务器使用寿命;(4)分析当前集群系统中主要运用的高可用方案,并在实际工程运用中设计符合项目需求的高可用集群方案,并加以测试调整。研究测试表明:本文论述的集群系统的设计开发成果,能够很好地运用到商业银行的数据平台中,并且在试运行过程中,能够根据实际需求,对集群系统进行实时升级改造。