论文部分内容阅读
多任务学习用于同时学习多个相关任务,通过联合学习,它既保持了任务间的差异性又充分利用其相关性,从而从整体上提高所有任务的学习性能。多任务学习引起了很多学者的关注,基于不同的模型假设提出了大量方法,但仍有很多理论和方法问题有待解决。本文对多任务学习方法进行了深入研究,并提出了三种新的方法以解决现有方法中存在的问题:基于公共子空间的多任务学习、利用图结构约束的多任务学习、几何保持多任务度量学习。通过理论分析和实验,证实了所提出的这些方法的有效性。
本文的主要贡献如下:
1.提出公共有效信息子空间的概念和一种多任务学习框架,并且将该方法应用到度量学习问题中,一方面利用有效信息子空间内低噪声的特点提高每个学习任务的性能,另一方面联合使用多个任务的信息可以更准确地学习该子空间。
2.提出基于图拉普拉斯正则化的多任务学习方法,通过联合多个任务共同学习,可以得到任务间的关联程度信息,这种关系又对任务的学习过程产生约束,进而通过有效信息在任务间的传播提高学习性能。
3.提出度量学习中的几何保持性概念及该性质的概率衡量方法。同时将一类利用正则化项构建多任务学习的方法从向量推广到矩阵变量,提出基于Bregman矩阵散度的多任务度量学习框架,并基于该框架利用vonNeumann散度构造出“几何保持多任务度量学习”方法。该方法的目标函数是联合凸的,因此具有全局最优解且易于求解。理论分析和实验表明,本方法有利于提高几何保持概率,并提高多任务度量学习的性能。