论文部分内容阅读
随着数据物联网与云计算的兴起,数据支撑决定着各行各业的发展。解决问题的上限是由数据决定的,而如何处理数据成为科研人员和工程人员值得关注的方向。人工智能正逐渐从高端技术走向通用技术,其原因是有了云量的数据、强大的计算资源和处理数据的机器学习算法。深度学习是当下最流行的机器学习算法,它可以快速、高效的从海量数据中获取有用信息加以利用。在使用深度学习算法之前,如何对算法的超参数配置是取得较好效果的关键,在同一问题上不同超参数配置的模型效果差异较大。超参数就是在算法运行之前需设定好的参数,如卷积神经网络中的激活函数就是其中一个超参数。在大型机器学习算法尚未兴起之时,超参数的设定大多是由经验丰富的专家手动设计。近年来,随着数据呈指数级增长,深度学习算法中的超参数从十几个到几百个不等,手工设计方法已然不能满足需求。基于此,本文提出基于模糊控制多细胞基因表达式编程算法的超参数优化方法。本文主要工作如下:(1)提出了基于模糊控制多细胞基因表达式编程算法(Fuzzy control multi-cell gene expression programming algorithm,FMCGEP)的超参数优化方法。多细胞基因表达式编程算法是进化算法中的一种,由遗传算法(Genetic algorithm,GA)与遗传编程(Genetic programming,GP)相结合得来,该算法编码与解码简单灵活,表达能力强,解决复杂问题效率高,但其易于陷入局部最优问题,为此引入模糊智能控制技术,增强跳出局部最优的能力,从而更准确找到全局最优解。(2)将FMCGEP算法实现对DNN模型的超参数优化,该算法简称为FMCGEP-DNN。准确的降水预报是一个非常困难的问题,因为降水具有高度的不确定性和变异性。近年来,人工智能领域最受关注的机器学习方法当属深度学习,它已经成功地应用于包括降雨预测在内的诸多领域。然而,在构建高性能的DNN模型时,神经网络中超参数设计和调整仍然需要专业知识,因此提出了一种基于改进基因表达编程的DNN模型超参数自动优化设计方法,该方法可以自动优化DNN中超参数,并将该模型用于降水建模和预报。通过三个真实降水数据集的实验,验证了该算法在MAE、MSE、RMSE和R-Squared四个评价指标上的性能。实验与基线机器学习方法、超参数优化库方法和基于遗传算法的超参优化方法对比,结果表明本方法的有效性。(3)将FMCGEP算法实现对CNN模型的超参数优化,该算法简称为FMCGEP-CNN。卷积神经网络(Convolutional neural networks,CNN)技术在图像分类任务中取得了当前最佳效果,然而,为了设计出具有高性能的卷积神经网络,需要在CNN和应用问题领域拥有广泛的专业知识和实践经验进行较优的CNN设计变量设置,这使得不一定每个对CNN感兴趣的用户都适用。针对此问题,本文提出了利用模糊控制多细胞基因表达式编程算法来自动优化CNN中超参数的方法。该方法设计了一种有效的可变长度基因编码策略来表示CNN的超参数,从而描述不同的构建块和不可预测的最优深度,并将该算法应用于MNIST、CIFAR10和大肠癌症医学图像三个数据集进行验证。与其他已有先进算法进行试验比较,结果表明本文算法在分类准确度中可获得更好的效果,算法鲁棒性更强,且整个过程全自动完成。(4)提出一种新的编码方案。在使用FMCGEP优化DNN/CNN过程时,需要将DNN/CNN中待优化的超参数编码到染色体中,为了使算法能描述不定个数超参数,设计了一种新的超参数编排顺序的方法。(5)提出了新的适应度评价方案。在优化DNN超参数时,将模型的训练数据与测试数据之间的误差作为算法的适应度值;在优化CNN超参数时,将模型预测准确率最为算法的适应度值。