随着大数据时代的发展,人们日益认识到数据的宝贵,互联网公司可以根据用户的行为数据进行定制推送,金融业根据客户的理财数据进行私人定制,各行各业都产生并积累了海量的数据。这些数据包含结构化和半结构化的格式,因此如何从海量数据中高效的得到高质量数据是人们需要解决的问题。本文从大数据视角出发,对基础教育资源处理及其性能需求进行分析,考虑算法的通用性和有效性,在综合Hadoop和Spark的生态系统和各自的数据处理特点及性能基础上,选取词频统计和K-Means聚类算法作为测试方法,词频统计是自然语言处理最基本的工作,K-Means是文本聚类最常用的算法之一。继而采集基础领域教学资源网站资源,以Hadoop为基础平台,进行分布式数据存储,利用基于规则的分类方法获取其中的教案文本数据,在Hadoop和Spark两种数据分析框架下分别进行WordCount统计算法和K-Means聚类算法的性能对比实验,比较不同数据分析框架的优缺点,为基础教育资源高性能处理计算提供了理论和技术参考。本文的主要研究工作包括以下内容:1、在理论方面,分析了基础教育资源处理基本需求和流程,及其处理计算业务的复杂性;梳理了 Hadoop平台下高性能计算框架,分析、比较了Map/Reduce、Spark工作原理及其特点;介绍了 WordCount词频统计、K-Means资源聚类算法相关原理。2、在技术方面,搭建了 Hadoop运行环境,及该环境下的Map/Reduce、Spark大数据集群及其框架组件;以WordCount词频统计、K-Means资源聚类算法为例,在两种大数据高性能计算框架下进行了算法实现,比较了两者应用特点和性能差异,为项目组后续工作开展奠定了技术基础;3、在实践方面,本研究探索了文档、音视频等非结构化资源在Hadoop平台上以HDFS、HBase等分布式技术方案存储,设计了 Map/Reduce、Spark计算框架下,基础教育资源处理算法编写流程及技术接口。