智能问答是一类自然语言处理技术,旨在使机器具备通过理解文本并回答以自然语言提出的问题的能力。现阶段,智能问答技术得到了蓬勃发展,并在不同领域被广泛应用。因此,智能问答系统的质量也备受关注。然而,由于智能问答系统自身的特性,其质量评估面临着诸多挑战。一方面,现有工作主要基于数据集来评估智能问答系统的准确性。但是由于数据集规模和内容的局限性,导致其在一个数据集上的准确性很难泛化到数据集以外的数据上。此外,仅仅通过准确性评价指标无法细化地刻画系统不同方面的能力。另一方面,基于数据集的评价方法均依赖于标注的ground truth信息,因此质量评估往往需要高昂的代价。为了解决这些问题,本文提出基于蜕变测试技术的评估方法。我们的方法不依赖于ground truth信息,并且可以支持对系统不同方面特性的评估。本文聚焦于两类典型的智能问答系统:文本问答系统（Textual Question Answering,TQA）与可视化问答系统（Visual Question Answering,VQA）。结合TQA和VQA的应用场景,我们针对其三个方面进行了分析:1)TQA和VQA理解文本问题的能力,其中包括TQA理解一类特殊问题,即时序逻辑问题的能力;2)TQA分析理解文本段落的能力;3)VQA分析理解图像的能力。为了评估TQA和VQA在相应方面的能力,我们针对每一个方面定义了蜕变关系。以此为基础,构建了自动蜕变测试框架,并在主流TQA和VQA模型上开展了大量的实验。实验结果表明通过应用蜕变测试技术,TQA和VQA在不同方面的能力可以得到恰当的评估,并且整个质量评估过程不再需要ground truth信息。本文的主要贡献总结如下:（1）将蜕变测试技术应用到TQA和VQA上,针对其与问答能力相关的不同方面定义了20条蜕变关系,并构建了支持智能问答系统质量评估的自动化框架。（2）在4个主流的问答模型（2个TQA模型,2个VQA模型）上开展了大量的实验,并结合实验结果进行了实验分析。一方面,对目标TQA和VQA模型,横向的分析了每个目标模型在不同方面的表现,并进一步在同类模型进行了纵向分析,以凸出不同模型的优势和不足;另一方面,展示了如何利用评估结果来为不同的应用场景需求选择智能问答系统提供借鉴和参考。