近年来,随着人工智能、深度学习领域的发展,深度神经网络模型得到了广泛的研究和应用。其中,计算机视觉方面的研究也取得了突破性的进展,并有许多研究已经有了具体落地应用,这为人们的生活带来更多的方便。然而,对于神经网络的训练,往往需要基于大量的实验数据,而数据的提供方式在实验场景和实际场景有较大的差别。在实验条件下,数据往往是完整的理想化的,由人工直接提供。但在现实世界中,数据往往是随着时间逐渐提供的。除此之外,在实际应用场景中,连续获得的数据的分布可能随着时间变化而发生改变,这意味着模型获得的数据不完全属于同一分布。这一实际场景要求神经网络模型应该能够具有持续学习新数据特征的能力,而不仅仅只能基于完整数据进行学习,这就需要模型能够从动态数据分布中学习和记住多个任务,这种能力称为持续学习或终身学习。对于人类而言,可以轻易的完成这样的任务,但这对深度神经网络来说是一个长期的挑战。为了解决这个问题,研究者通过模仿大脑的学习机制,提出了很多研究方案。然而,目前的深度神经网络的持续学习能力还远远不够,人工智能方法在这方面还有很长的路要走,这也是本文的目的和意义所在。本文对现有的持续学习方法进行分析,在此基础上提出一种更好的持续学习方案。本文的工作归纳如下:1.针对现有持续学习方法在知识蒸馏损失项不够精确的问题上,本文提出了基于样本记忆和知识蒸馏的持续学习方法,巧妙地将样本记忆和知识蒸馏有效结合,其目的是通过采样获得少量旧任务的样本数据,以提高知识蒸馏的准确性,从而进一步减少旧任务的灾难性遗忘现象,减缓旧任务预测准确率的下降。通过实验,也证明了本文提出的方法在单个、多个新任务场景下的有效性。2.现有持续学习方法不能很好的适应任务差异性较大的场景,当前后任务数据分布有较多偏移时,灾难性遗忘现象更加明显。针对这个问题,本文引入了特征提取参数稀疏化策略,改变原有的多任务间共享特征提取参数的模式,使得不同任务间的节点不完全共用,减少由数据分布差异导致的权值更新冲突,同时不同任务间公用节点的保留,能够实现新旧任务知识共享,从而进一步减少旧任务的遗忘,全面提高新旧任务预测的准确率。具体地,本文首先通过基于Dropout为任务选取特定的节点,提高参数稀疏性;其次,通过对特征提取参数进行范数正则约束,进一步保证参数的稀疏性,减少任务间冲突。总体来说,本文提出的方法将样本记忆、知识蒸馏、参数稀疏化策略结合起来,相互配合,在解决原有持续学习方法不足的同时,将多种策略的优势结合到一起,从而提升模型的持续学习能力。最后,本文通过在不同数据集和网络结构下进行实验,验证了方法的有效性。