随着互联网时代的到来,越来越多的数据正在互联网中产生、传播、分享。为了能够处理超大规模的数据,开源界涌现出了一大批如Hadoop、Spark、Storm等大数据处理软件。每个软件都有其独特优势,但目前各个工具独立开发和管理,统一性较差,没有对集群和组件进行有效监控和预警,文件系统HDFS也没有实现服务化和可视化;此外,对于Yarn的资源调度器并没有针对不同场景给出具体的方案,任务管理和任务提交繁琐,易用性较差。针对上述问题,本文主要做了两方面工作。第一,对大数据资源管理中的Yarn的调度策略进行了深入研究,针对三种不同调度器在不同场景下的性能表现做了对比实验,为如何在不同背景下选择适合的调度器提供了参考意见。第二,对当今主流大数据开源软件进行了深入的调研和分析,结合上层大数据业务和应用的需求及特点,设计并实现了大数据处理与管理平台。该平台由五个子系统构成:集群统一监控子系统、文件统一管理子系统、资源及任务统一管理子系统、外部API及Web Service统一服务子系统、可视化Web平台;此外,本文对整个系统的功能进行了测试验证和实际部署,并已支持多个第三方应用。论文的成果是对Yarn的调度机制进行了深入的研究,并构建了一个统一的大数据处理与管理平台,并对相关关键技术进行了深入研究,完整的支持了所涉及的相关需求和业务,对大数据平台的资源调度、文件管理、节点监控、数据可视化有一定的借鉴作用。