论文部分内容阅读
北京谱仪Ⅲ（BESⅢ）高能物理实验要对海量的数据进行处理与分析。为了应对海量数据对计算资源提出的挑战，BESⅢ实验基于分布式架构软件DIRAC构建了统一的分布式计算平台。针对实验具体需求，对BESⅢ分布式计算的记账系统进行研究，以MongoDB作为系统底层存储数据库，采用复合片键以及副本集策略，提高系统可扩展性与可用性；提出基于动态时间窗口的数据压缩算法，实现了统计查询结果的实时响应；基于Map／Reduce、Matplotlib提高分析速度以及实现分析结果的多样化展示。目前该系统已被用于计算平台信息的收