论文部分内容阅读
乘潮水位计算是海洋环境信息处理的重要组成部分，具有计算量大、计算复杂度高、计算时间长等特性。采用传统集群计算模式实现乘潮水位计算业务，存在计算成本高、计算伸缩性和交互性差的问题。针对以上问题，提出一种基于Spark框架的乘潮水位计算和可视化平台。结合对Spark任务调度算法的研究，设计和实现了一种基于节点计算能力的任务调度算法，实现了长时间序列的多任务乘潮水位数据的检索、获取、数值计算、特征可视化的并行处理，达到了海量海洋环境数据计算和可视化处理的目的。实验结果表明，提出的基于Spark的乘潮水位计算和可