论文部分内容阅读
机器学习方法是一种时下相当热门的方法,它在计算机视觉,自然语言处理,数据挖掘,自动驾驶等等领域取得了巨大的成果。当下,由于某类机器学习方法的激活函数与传统有限元方法的分片线性基函数存在类似的结构,有学者将单层神经网络看作有限元方法,再用该结构的神经网络模型求解微分方程。基于这种思考,相关的研究也越来越多。基于机器学习方法的偏微分方程的研究主要可以分为两类:一是根据已有的数据,进行模型的反演;二是基于方程本身,用机器学习的方法去求方程的解。用机器学习的方法求解方程不同于传统方法,如何进行问题的重构,并融入机器学习的框架是相当重要的一步。机器学习方法在求解高维的偏微分方程中取得了巨大的效果,因为传统方法都会遇到维度爆炸的问题,使得数值计算无法进行下去,而机器学习方法通过构建无网格算法,避免了网格剖分过程,使得高维问题的求解过程变得可行。分数阶问题是一种近来数学界所关注的模型,其本质是引入了分数阶积分和分数阶导数算子的非局部问题。在材料力学、地质勘探、控制论、统计等领域,分数阶模型取得了重要的应用,能更好地逼近、预测实际现象。分数阶算子中包含分数阶积分项,故而在一个偏微分方程的求解过程中,我们需要记录下所有时刻的值用以进行分数阶算子的数值积分,这对数值方法的要求和计算量都远高于传统的整数阶偏微分方程,计算代价十分昂贵。如何设计一种高效且稳定的算法一直以来是解分数阶问题的主要困难。对于带有不连续性或者高奇异性的偏微分方程,传统的有限差分和有限元方法都无法直接求解,我们需要针对方程进行数值格式的设计与数值分析。大多数情况下,需要一个相当小的时间步长来保证数值求解过程的稳定性,同时对间断情况的逼近程度也限制了空间步长。因为所求函数的奇异性,给求解带来了很大的困难。本文主要考虑如何用机器学习方法求解时间分数阶偏微分方程和带有不连续性的偏微分方程。本文主要包含两块内容,首先是求解分数阶偏微分方程的机器学习方法,然后是机器学习方法在不连续问题中的表现以及针对不连续问题的机器学习结构研究。本文的具体工作如下:(1)首先,我们就分数阶问题以及不连续的偏微分方程问题做了一个简单的介绍,并介绍了当前国内外主要的研究成果。给出一些简单的数值算例用以直观的了解这些问题;然后我们提到深度神经网络模型,并给了一个聚类问题的应用;在此之前,我们讨论了用机器学习方法解偏微分方程相关的文献与研究现状;(2)接下来我们详细地介绍了用机器学习方法解偏微分方程的方法。我们将深度神经网络看作一个函数,其输入为时间t和位置x,其输出为函数值。在这个基础上,将方程本身定义为损失函数,这样原方程的求解就转变成了一个优化问题的求解,基于这个优化问题,我们介绍了如何用机器学习的方法去学习得到函数解的算法。这里一种基于无网格的随机采样方法的提出,使得用机器学习方法解高维问题成为可能,这也是机器学习方法解方程最大的优势之一;(3)在此基础上,我们开始考虑如何将解整数阶偏微分方程的机器学习框架拓展到求解分数阶偏微分方程上去。由于深度学习方法的函数性质,使得我们可以知道每一个点的函数值,这让高精度的数值积分变得可能。我们用高斯雅各比正交多项式进行数值积分,并证明了这种积分方法依然可以满足深度学习方法对于解的逼近。这里提出了基于深度学习的分数阶偏微分方程解法,同时给出数值算例体现深度学习方法相较于传统方法虽然精度有所欠缺,但是由于维度增长带来的计算速度的优势远优于传统方法;(4)另一方面,我们考虑带有不连续性的偏微分方程,这也是传统的数值方法较为难处理的一类方程。基于分片线性基函数的数值逼近导致了其对于不连续性的近似有其局限性,高度依赖于网格宽度。我们用能给出任意点值的深度学习方法逼近,体现出了比有限差分方法更好的逼近效果。(5)考虑到深度学习方法是一种黑箱方法,我们可以将函数的不连续性加入到网络模型中,建立起用于逼近不连续解的深度学习模型;更进一步地,我们用一个额外的网络来逼近函数的不连续性所在,将其作为第三维度输入到模型中。接下来的一系列不连续问题的数值算例体现出了这种新型网络对于函数不连续性逼近的优越性。在本文的工作中,以下事情值得注意:(1)深度学习方法是一种全局性的函数逼近方法,其本质在于用神经网络框架作为一个高维的函数去逼近原方程的解,所以其精度和误差分析也不同于传统方法。更一般地说,用机器学习方法得到的解在细节处不如传统方法精确,并且其函数值并不被临近的状态或点所限制。但是相应地,机器学习方法得到的误差是一种全局误差,并不会因为时间发展而导致误差的累积。(2)注意到深度学习的学习过程本质是一种优化过程,不同的参数设置,优化方法,初始化方法,网络深度,网络结构,损失函数设置都会影响到解的精确性,这并不是一种确定性方法。也是由于这个原因,关于机器学习方法我们很难给出一个较为规范的误差估计,所以数值计算的结果由原问题的解直接展示。总的来说,本文的价值主要体现在如下几个方面:(1)本文完整地展示了如何用一个深度神经网络模型去求解一个给定的偏微分方程,讨论了实现机器学习方法过程中的细节,并提供了相应的算法和理论支持;(2)本文将用于解整数阶偏微分方程的深度学习方法拓展到了分数阶问题,充分利用了深度学习方法的全局信息,使得对分数阶算子的高精度数值积分变为可能,进一步求解分数阶问题;(3)本文提出了一种耦合了不连续输入的深度网络结构用于求解带有不连续性的偏微分方程,这种网络的提出使得分数学习方法在解不连续性问题上展现出了优越性。进一步地,也为更多地网络结构探索提供了可能性。