论文部分内容阅读
作为机器学习领域中最重要的研究方向之一,迁移学习在近几年来开始得到了越来越多的关注。在本文中,我们对迁移学习现有的一些理论与算法进行了研究,并在此基础上,结合adaboost算法,多视角学习以及多源学习,进一步改进了迁移学习算法。首先,在讨论迁移学习算法之前,我们将先来研究一下adaboost这一经典的集成学习算法。通过对过去一些研究的了解,我们知道adaboost算法的核心思想是通过迭代,针对同一个训练集训练出不同的弱分类器,然后把这些弱分类器通过一定的规律整合起来,最终构成一个强分类器的过程。在本文中,为了提高adaboost算法的性能,我们将多视角学习融入其之中,提出了内嵌式多视角adaboost算法。在以往的一些结合adaboost算法与多视角学习的研究中,研究者们往往都是将这两种学习方法线性的链接起来的。但这种算法间相对独立,相关性较弱的组合方式并不能够把它们的特点融合在一起。然而我们提出的内嵌式多视角adaboost算法旨在将多视角学习充分的融入进adaboost算法之中去,使它们两者结合为一体,充分发挥各自的特点,以达到更好的学习效果。在本论文中,我们基于adaboost算法的特点,对内嵌式多视角adaboost算法进行了理论分析,并在多个数据集上进行了实验。从结果上来看,内嵌式多视角adaboost算法得到了比一般的adaboost算法更好的效果。样本迁移是迁移学习中一种较为基本,也是较为简便有效的学习方式。它通过把一个已经学习过的任务(源任务)中的样本应用于一个待学习的任务(目标任务)中去来提高待学习的任务的学习效果。因为其迁移的过程简单有效,所以已经被广泛的应用于很多领域。在本论文中,我们相信多视角学习可以有效的提高迁移学习的学习效果,所以我们将内嵌式多视角adaboost算法和迁移学习融合在了一起,提出了多视角adaboost迁移学习算法。我们在多个数据集上都对该算法进行了实验,实验结果表明该方法是有效的。参数迁移是另一种较为常见的迁移学习方法,这一方法通过把源任务中的重要信息参数化之后传递至目标任务,从而达到了迁移学习的效果。我们在研究这一学习算法的过程中,将其与部分模型融合在了一起,提出了基于部分模型的迁移学习算法。与传统的迁移学习不同,我们在此考虑的是该如何把整体(源任务或目标任务)分割成几个相关联的部分,然后用多个相对应的部分与部分之间的迁移学习来代替整体与整体之间的迁移学习。我们相信,通过把整体化为多个相关联的部分可以挖掘出更多的有助于迁移的信息。从实验结果上看,基于部分模型的迁移学习算法是有效的,它得到了比一般的迁移学习算法更好的学习效果。迁移学习虽然说是一种非常实用且有效的机器学习算法,不过其也不可避免的存在一些弊端,例如:负迁移。之所以在迁移的过程中会出现负迁移,在很大的程度上是因为源任务与目标任务之间存在的差异性。为了竟可能的减少这种差异性,避免负迁移的产生,我们应用到了多源学习这一方法。我们通过同时使用多个源任务来代替仅使用单个源任务的方式来增加找到与目标任务较相似的源任务的概率,从而不但有效的避免了负迁移的产生,也提高了迁移学习的效果。在本论文中,多源学习将同时应用于多视角adaboost迁移学习算法与基于部分模型的迁移学习算法。实验结果表明,由于多源学习的加入,这两种迁移学习算法的效果都得到了提升。