人类和动物可以持续地积累和巩固从先前观察到的任务中获取的知识,并通过不断地学习,解决新的问题或任务。然而,对于机器学习系统来说,这样的持续学习能力是重大难点之一,因为不断地从非平稳数据分布中获取可用信息通常会导致灾难性遗忘。近年来随着深度学习的发展,许多克服灾难性遗忘的方法相继涌现,但持续学习仍然是人工智能领域长期面临的挑战。针对持续学习领域中依然存在的一些问题,本文结合贝叶斯优化和变分推理,提出了基于不确定性和资源释放机制的持续学习算法,并在此基础上将正则化操作提升到神经元层面。主要研究工作如下:1.为了更高效地进行贝叶斯推理,以高斯混合分布作为先验,并结合变分推理和蒙特卡洛采样的方法,通过最小化模型真实后验分布与先验分布间的距离优化出一个贝叶斯模型。为了能让模型适应增量式场景,引入参数重要性判断机制,根据贝叶斯神经网络携带的不确定性（概率分布的标准差）动态地调整参数的学习率,避免重要性较高（不确定性较低）的参数被过度调整。然后,为了促进未来任务的学习效率,提出一种资源释放机制,通过引导模型从旧任务中选择性舍弃部分资源,为后续任务的学习提供更多空间。2.虽然采用蒙特卡洛采样的方法对贝叶斯模型的真实后验进行求解能更精确地近似模型的真实后验,但多次蒙特卡洛采样会使模型的运算时间过长且效率较低;此外,第一项工作仍然停留在权值层面,即根据单个权值的重要性为权值施加不同强度的限制,这种方法一是会导致流向神经元的信息产生冲突,二是会产生大量参数,同样会影响模型的计算速度。针对上述问题,提出一种基于神经元正则和资源释放机制的增量学习方法。首先,通过假设模型所有变量间相互独立,然后将KL散度项分解为多个独立一元高斯分布后进行解析计算,节省了更多计算成本;其次,以神经元为单位对输入权值进行分组并按组将权值的方差限制为相同的值,再以统一后的方差作为重要性判别依据对权值进行正则。在MNIST,Fashion-MNIST和CIFAR10三个公开数据集上进行性能评估,实验结果显示,在几种不同规模的神经网络中,本文提出的方法都保持着最高的分类精度,且当网络规模缩小时,本文方法的分类性能也保持着最小的下降幅度。