论文部分内容阅读
在非参贝叶斯框架中,高斯过程作为有效且灵活的概率建模工具被广泛应用于机器学习的众多领域,在许多单视角问题上取得了良好效果。随着大数据时代的到来和不断发展,获取到的数据形式也越来越多样化,导致多视角数据在机器学习的许多任务中频繁出现。标准的高斯过程只关注于单视角数据,在多视角场景下的应用较少。这使得研究基于高斯过程的多视角模型是迫切需要的。因此,本文主要研究多视角高斯过程的模型和算法,包括多视角规范化高斯过程,多视角深度高斯过程和稀疏多视角高斯过程。本文首先利用协同规范化思想,将高斯过程直接扩展到多视角场景下,提出了多视角规范化高斯过程(MvGPs)。不同于现有方法,它约束不同视角的潜函数的后验分布尽可能地保持一致,并用其对边缘似然分布进行规范化,从而联合了多个视角间的信息。为了更加合理利用多视角数据的一致性特点,我们给出一种适用于多视角学习的选点机制,并基于此思想改进了模型。其次,考虑到现实中数据的复杂性和多样性,可能需要使用层次化的深度模型来对其建模。我们进一步将深度高斯过程(DGPs)扩展到多视角场景中,提出了多视角深度高斯过程(MvDGPs)。与DGPs不同,MvDGPs可以用不一样的深度对不同视角的数据进行建模,因而可以更加灵活地处理不同视角数据间的多样性和差异性。最后,为了将多视角高斯过程应用到较大规模的数据集上,本文提出了两种适用于多视角高斯过程的稀疏多视角方法,最大信息向量机(m IVM)和选择性流形保持(aMP)。其中m IVM模型受信息论启发,试图在相同数据点数目的前提下在多视角数据中获得尽可能多的信息;而aMP模型受流形保持思想的启发,使用交替选择策略来利用数据所有视角的信息,从而尽可能高地保持空间连接性。本文通过在Web-page等数据集上的实验对多视角高斯过程的模型和算法进行了深入的分析和研究。首先,我们的实验展示了所提出的MvGPs模型处理多视角数据的有效性,说明了在高斯过程中引入的多视角规范化的合理性。其次,验证了所提出的MvDGPs模型在建模多视角数据方面的灵活性和高效性,说明了深度扩展的优势。最后,我们展示了所提出的多视角稀疏方法(mIVM和aMP)可以显著减少多视角高斯过程的训练时间。