阿尔兹海默症（Alzheimer’s disease,AD）虽然无法治愈但AD的早期诊断会带来巨大的收益,人工智能（Artificial Intelligence,AI）技术给AD早期诊断带来新希望,同时AD诊断任务的复杂性也给AD辅助诊断系统的设计带来了挑战。基准测试是体系结构领域中的一个重要技术,可以用于进行系统的全面的性能评价,以及发现系统的性能瓶颈,提出新的见解,从而促进系统的设计、优化以及创新。然而,AD辅助诊断系统的基准测试仍旧面临多项挑战:（1）目前AD辅助诊断系统的基准都是基于具体任务手工构建。然而,基于AD病理学的复杂性,AD诊断方式的多样化,基准测试难以复用。此外,临床数据的预处理往往是复杂的,需要进行大量的工作。（2）AD临床诊断场景具有复杂性和不确定,而目前的AD辅助诊断系统的基准测试大都对AD的临床诊断场景进行了简化,无法还原真实临床场景,导致即使AD辅助诊断系统在基准测试中有优秀表现无法应用于临床,阻碍了阿尔兹海默症临床诊断系统的创新。（3）当前的AD辅助诊断系统的评测指标体系以效能指标为主,无法真实反映系统的临床价值。本文围绕AD辅助诊断系统的基准测试面临的挑战,开展了一系列的研究,主要内容如下:（1）提出了一个针对AD辅助诊断系统的基准数据集的抽象方法。首先,通过调研各种不同类型的AD辅助诊断系统基准数据集,从受试者层次和医疗资源层次的分析,对基准数据集中的基本组成元素和基本构建操作进行了任务无关的抽象,从中总结出了18类基本组成元素和5类基本构建操作,并且获得了3类基准数据集的统一抽象表示。其次,为了方便进行数据的整合、管理和查询,设计了一个数据统一表示框架,以及为了减少重复进行数据预处理和高效构建基准数据集,本文还设计并实现了基准数据集的自动化构建方法。最后,为了促进AD诊断相关算法的创新,本文构建了一套类真实临床场景的AD辅助诊断系统基准数据集,该基准数据集包含了上述总结出的18类基本组成元素,以便模拟真实临床场景的特征。（2）提出了一个针对AD辅助诊断系统的基准测试方法。首先,基于AD辅助诊断系统基准数据集的抽象方法,设计一个针对AD辅助诊断系统的基准测试方法。其次,基于基准测试方法,设计并实现了面向AD辅助诊断系统的基准测试系统。再次,针对目前的评价指标无法体现AD辅助诊断算法的临床价值,本文提出并实现了花费指标、损害指标,用于评价AD诊断模型的临床价值。最后,利用上述系统实现多场景的构建与评测。实验结果发现,1)同一受试者的不同就诊记录数据同时出现在训练集、验证集和测试集中时,这会导致不同程度的目标泄露,从而使得AD辅助诊断模型被高估。2)与成像数据相比,专业医生标记的MMSE评分会使得模型更具有鲁棒性。3)基于随机划分模拟的数据孤岛,很难保证非独立同分布,这将导致联邦学习模型性能被高估。4)通过添加客户端量来增加用于训练模型的数据量并不一定能提供模型的性能。5)主流AD辅助诊断模型在类真实临床场景中的性能急剧下降。