随着计算机应用的推广以及智能设备的广泛普及,互联网服务所产生的数据量正在快速飙升。“大数据”的概念也应运而生。而在大数据飞速发展的同时,人们也面临着诸多问题。如在整个大数据生态系统当中,很多都是开源软件,部署起来无从下手,即使专业人员从部署到测试完成也需要消耗大量精力。其次对于整个大数据系统的监控来说,各个大数据组件间的监控还相对独立,并且获取监控信息方式也参差不齐。针对这些问题,本论文设计并实现了一套大数据平台自动化部署与监控一体化的系统。主要工作及取得的研究成果有以下几个方面:(1)针对不同大数据组件的部署方式,考虑部署程序的可扩展性和可配置性,以及一些组件的主从配置。用shell脚本以及expect交互语言设计了一套完整的大数据集群自动化部署系统,涵盖Hadoop,Mysql,Kafka,Redis,Jstorm等主要大数据组件。成功设计与实现了自动化部署模块。(2)研究和设计了监控信息初始化模块,并通过自动化部署将集群信息和监控项信息初始化到Zookeeper配置中心。(3)针对现有的大数据集群监控方式,通过研究比较,选择了以JMX为主的系统监控解决方案,并对所有大数据组件以及物理服务器进行监控程序的设计与编写。通过研究nosql数据库,选取了MongoDB作为缓存数据库模块用来储存监控模块采集到的监控信息并响应给Web前端进行展示。(4)将自动化部署模块与监控模块整合到一起,作为解决大数据集群的部署与监控管理的整体解决方案。