论文部分内容阅读
在物联网技术的迅猛发展,以及大规模并行计算的背景下,人工智能渐渐地从高端技术变成通用技术。有了强大计算能力的保证,人工智能的崛起有两个重要的因素:数据和机器学习算法。在数据处理好的情况下,如何配置机器学习算法的超参数是人工智能技术取得好的效果的关键。超参数就是某个算法在运行之前,首先需要确定好的参数。例如遗传算法中,种群的大小就是一个超参数。超参数优化就是为某个应用的算法选择一组好的超参数,使其性能最佳。在以往的算法调参问题中,领域内的学者一般是基于个人的经验人工调参。近几年来,随着数据的指数级增长,以深度神经网络为代表的机器学习算法在处理海量数据方面显示出了强大的优势。但是如何选择其众多的超参数仍然是一个未解决的难题。本文便是从优化的角度来解决这个问题。在第二章中,首先介绍了几种经典的机器学习模型,优化算法以及超参数优化的建模过程。另外,本章还介绍了一些早期的超参数优化方法,如网格搜索,随机搜索,并且针对随机搜索结果的不稳定性,提出本文的第一个创新点:基于单个体量子遗传算法的超参数优化。实验表明,本章所提出的算法,在针对基于MNIST数据集的神经网络调参问题上,取得了不错的效果。在第三章中,由于超参数优化本质上是一个昂贵黑盒函数优化问题,所以,学者们开始利用贝叶斯优化进行机器学习模型的调参。在本章中,首先详细介绍了贝叶斯优化方法,并且针对贝叶斯优化的缺点,提出了本文的第二个创新点:基于多元自适应回归样条的超参数优化算法。实验表明,该算法所取得的结果不仅不低于贝叶斯优化所取得的结果,而且在时间效率上提升很多。在第四章中,我们提出了本文的第三个创新点:将数据驱动优化技术应用到SAR图像变化检测的实际问题中。具体地,(1)提出了一种基于数据驱动的阈值法,(2)对基于深度信念网络的SAR图像变化检测算法的超参数进行优化。实验表明,基于数据驱动的阈值法相较于经典的阈值法,性能有着一定的提升,以及利用数据驱动优化对基于深度信念网络的SAR图像变化检测算法进行超参数优化之后,该算法的性能也有着一定的提升。另外,在本文中,智能计算指的是进化算法,贝叶斯优化,基于多元自适应回归样条的优化等智能优化算法。