分布式软件系统由分布于不同的计算机之上的多个软件模块组成,并通过网络连接,在资源共享、高可用性以及并行处理等方面具有很大优势。由于大型分布式系统具有资源分布、交互复杂、规模庞大等特点,传统的测试手段在可靠性保障方面效果不太理想,系统运行时往往会出现一些意料之外的错误,使得对分布式系统的问题检测和诊断成为了巨大的挑战,因此监控被作为一种常用的手段用于分布式系统的可靠性保障中。本文的项目背景来自于本人在eBay公司搜索部门索引分发小组实习期间参与的项目。索引分发涉及到复杂的流程,由不同的分布式系统共同交互完成,最终需要确保超过2万台节点组成的集群获得正确、最新的索引。由于缺乏完善的监控、诊断和修复机制,系统运行出现问题时需要花费很长的时间定位原因。为了解决上述问题,本文提出了索引分发监控与诊断系统的分析与设计。本文首先概述了项目背景,并从分布式索引技术和软件监控两个方面进行了国内外相关研究现状的综述。论文主要介绍了系统的数据处理服务(DPS)的设计与实现。DPS使用Akka Cluster框架来构建集群服务,通过对规则文件的分配运行实现了对索引分发系统组件的监控,使用Quartz框架实现监控任务的调度运行,将具体的被监控对象与系统代码分离,提高了监控服务上线的灵活性。DPS实现了诊断工作流框架,与系统的补救服务相结合,能够找出具体的问题原因并进行相应的系统补救。DPS能够自动进行问题监控、分析问题原因、发送问题报告以及进行系统补救,并且能够持续稳定地上线新的监控服务。DPS缩短了索引分发系统故障的检测时间和修复时间,减少了人工干预的需要,开发人员得以专注于系统业务功能的开发,提高了索引分发服务的健壮性,用户能得到更准确的搜索结果。