Spark是大数据内存计算系统的典型代表,通过基于内存的数据缓存加速迭代型、交互式等大数据应用的运行。基于时间窗口的数据分析是一类典型的大数据应用,其特征在于依据数据产生的时序,对海量数据集基于时间窗口依次进行局部分析处理,并将局部处理结果进行全局聚合,形成最终的分析结果。本文针对该类应用的数据访问模式,开展Spark系统数据缓存技术研究,通过数据缓存编程接口、时间窗口数据预取机制以及局部结果缓存放置策略的设计与实现,提高Spark系统中基于时间窗口的数据分析应用数据读取效率,进而加速该类应用的运行。本文的主要贡献如下:1)提出了面向时间窗口数据分析应用的RDD动态更新机制并扩展编程接口。该机制根据时间窗口数据分析应用的数据处理时序特征,通过修改RDD生成机制,实现RDD数据分时、动态更新,确保当前时间窗口数据缓存命中;同时提供相应的扩展编程接口,支持用户表达时间窗口数据分时处理需求,降低了应用的开发难度。2)提出了基于流水线的缓存RDD数据预取机制。该机制在预评估时间窗口数据处理产生的结果数据膨胀规模的基础上,设计缓存RDD数据预取时机及预取规模,同时在综合考虑数据本地化处理以及任务执行器缓存余量的基础上进行缓存数据放置的决策,从而提高了应用的缓存命中率,并实现了任务执行器间的负载均衡。3)提出了面向时间窗口数据分析应用的局部数据结果迁移策略。该策略根据预取数据和局部结果数据的产生作为迁移时机,触发局部结果数据迁移,并根据预取数据规模和产生局部结果数据的规模确定需要迁移的数据分区集合,然后以最小的迁移开销和最优的计算能力匹配度为目标,使用遗传算法优化局部结果数据迁移策略,从而在时间窗口数据分析应用执行过程中,对内存空间的充分利用。4)结合上述内容,对既有的Spark进行扩展,设计并实现TW-Spark系统。并使用真实数据集和时间序列处理场景下常见的真实应用,对本文提出的方法进行性能测试和分析。最终的性能测试结果表明,与既有Spark系统相比,本文提出的预取机制以及局部结果数据迁移策略可以使时间窗口数据分析应用的应用执行时间最大缩短95.34%,平均缩短77.72%。