近年来统计机器学习在越来越多的领域中被广泛应用,例如数据挖掘、图像识别以及自动驾驶等等。然而,对于机器学习程序的软件质量保障工作仍然处于起步阶段,很多工作都致力于提高数据集的质量或者测试训练好的模型即分类器。与他们不同的是,本文关注的是机器学习程序潜在的代码错误,其中包括学习器部分和分类器部分。测试机器学习程序是很困难的,因为这类程序没有测试预言。这个问题很少被机器学习的研究人员以及从业人员所考虑,并且他们并不打算区分机器学习算法和实现这些算法的代码。机器学习程序中的代码错误会导致一系列的后果,例如程序崩溃、丢失训练数据、性能降低、时间开销增加等等。为了能够给机器学习应用开发者以及使用者提供一个合理指导,本文针对机器学习程序中的代码错误,提出了一系列用于检测代码质量的解决方案。具体工作包括:·我们尝试理解机器学习程序错误。我们利用变异测试生成突变体来模拟程序员在编程中可能犯的错误。我们使用统计假设检验比较突变体与原始程序以及基准程序在性能上的差异。根据在不同数据集组合上的检验结果,我们对突变体进行了分类。有些突变体属于严重错误,例如编译不通过或者导致程序崩溃。有些突变体会严重降低程序性能,而有些会使程序运行超时。另外存在大量没有被执行的突变体,这说明代码覆盖率仍有意义。最后有两类突变体较为重要:一类是统计等价突变体,另一类是统计顽固突变体。·我们尝试区分这两类突变体。统计等价突变体应该被认为是正确的程序,而统计顽固突变体属于隐藏很深的错误,故应该被检测出来。首先我们使用蜕变测试进行区分,发现它能检测出部分统计顽固突变体,但仍有一定漏报率。然后我们使用机器学习算法的性质来进行区分,分别查看程序在学习曲线上的表现以及对于对抗样本的鲁棒性。我们发现有一部分突变体能够明显区分,但仍然存在一部分无法区分的突变体。这说明测试机器学习程序仍然困难,因为缺少有效的先知。·我们设计并实现了MINT系统,它将上面提到的众多测试方法集于一体。我们用实验证明MINT系统对于测试机器学习程序有一定的指导意义,可以为程序员提供一些有效的信息,为机器学习程序测试和使用带来了实质性的便利。