随着科学技术的迅速发展,为了有效处理出现在众多领域中的数据量的爆炸式增长问题,云计算相关技术有了长足的发展,并在相关领域发挥了重要的作用。在处理数据密集型应用的过程中,Hadoop分布式计算平台具有的可并行性、高可扩展性和成本低廉等多种优点。在处理大型输入文件的数据放置的过程中,HDFS存在两点不足有待改进:第一,当slot有限时,随机方法导致的关联数据块集中放置将影响集群的并发性;第二,当多输入文件执行join操作时,随机方法导致的关联数据块分散放置将增加结点间的数据传输。为了提高MapReduce的执行效率,本文针对上述问题提出了关联性感知的Hadoop数据放置方法。针对第一点不足,本文提出了基于数据块间作业访问关联性的动态数据放置算法(Job-ACDP算法)。根据历史数据访问记录所提供的相关信息,本文建立数据块间作业访问关联关系表示模型,然后根据所提出的放置算法将关联数据块分散放置在不同的节点中,并在此基础上根据输入文件访问频率动态变化的情况,提出聚类结果调整算法来解决这一问题,从而增加集群的并发性。针对第二点不足,本文提出了基于Join访问关联性的多输入文件数据放置算法(多文件Join-ACDP算法)。根据历史数据信息建立了数据块间Join访问关联关系表示模型,然后根据数据块间的Join访问关联性将关联数据块分成一组并给出数据放置数学模型,该模型能够指导数据块集中放置并保持节点负载均衡,最后根据本文所提出的放置算法将同组的关联数据块放置在同一组节点集,从而能够有效减少节点间数据传输量。最后,根据本文提出的两个问题及解决方案设计并实现了 MapReduce数据放置工具,并搭建了 Hadoop实验环境对本文提出的两个数据放置算法分别与Hadoop默认数据放置算法进行对比实验,验证了所提算法的有效性,实验结果表明本文提出的方法在有效处理海量数据的同时能够明显提高MapReduce执行效率。