在机器学习领域,获得稳定可靠的可解释机器学习模型一直是该领域研究者梦寐以求的目标。其中,决策树类算法由于其良好的可解释性因而一直占据着重要地位并被广泛应用于各种类型的机器学习任务。目前主流的决策树算法主要使用单变量模型或线性模型作为分割面模型以及叶子节点模型,然而在真实的机器学习任务中,单变量模型和线性模型可能不足以描述真实世界的变量关系。因此,探究是否能够在保留当前决策树模型可解释性的前提下,构建非线性分割面模型和非线性叶子节点模型以增强决策树模型的建模能力就成为了一个亟待研究的问题。本文针对以上问题进行了研究和探索,主要工作包括:1.针对当前决策树局部模型难以拟合非线性数据问题,本文首先提出了分段符号回归树算法。该算法使用遗传编程算法为分段线性回归树的线性局部模型构建非线性特征,并提出了一种动态划分方案调整机制以缓解错误的初始划分方案导致的模型预测性能下降问题。本文将分段符号回归树算法与其他21个符号回归和机器学习算法进行对比,实验结果表明分段符号回归树算法具有最佳的综合预测性能。2.针对当前主流随机森林算法中决策树基模型难以构建非线性分割面的问题,本文提出了演化森林算法以尝试将基于遗传编程的高阶特征工程技术扩展至随机森林领域以使得随机森林中的每个基模型都具有更强的非线性建模能力。考虑到遗传编程算法的种群演化特性,演化森林算法在演化搜索过程中动态维护一个模型存档,从而最终形成一个集成模型。本文提出的演化森林算法在117个数据集上与其他15个决策树类算法进行了对比,实验结果表明演化森林算法具有更好的效果。3.针对演化森林算法的常量叶子节点无法有效刻画非线性局部变化的问题,本文对演化森林算法和分段符号回归树算法进行了进一步的融合,提出了分段演化森林算法。具体来说,分段演化森林算法利用了演化森林算法的整体框架,即在搜索过程中动态维护存档以形成最终的集成模型,同时分段演化森林也借鉴了分段符号回归树的思想,采用基于残差的分段线性回归树替代传统回归树作为基模型。实验结果表明融合了分段符号回归树思想的分段演化森林算法相比包括演化森林算法在内的23个算法在122个数据集上具有显著更优的综合性能。