随着多媒体数据在互联网当中的爆炸性增长,如何有效地组织和管理海量的多模态数据成为了一个亟待解决的问题。解决问题的关键在于挖掘多模态间的潜在关联关系,而其实质在于搭建模态间的语义间隙。近年来,陆续出现了通过跨模态检索和图像标注方式完成多模态数据关联任务。跨模态检索通常完成以图检文和以文检图的任务,而图像标注则针对无标签图像标注关键词,它们都受到研究人员的广泛关注。本文针对多模态数据关联问题,重点研究了通过核方法来完成跨模态检索和图像标注任务,在非线性空间中挖掘图文模态间的潜在关联。(1)提出了基于核方法的跨模态检索算法MFMCLK。算法首先利用了深度卷积神经网络和主题模型提取了图文模态的高阶语义特征,并通过主成分分析方法提升了特征的泛化能力,有效避免了低阶人工特征表达不充分的问题。接着利用了核方法捕获了图文模态在非线性空间中的潜在关系,进而完成交叉检索任务。(2)提出了基于多核学习的图像标注算法WLMKL。算法利用了合成少数类样本的过采样技术克服了数据集关键词分布不平衡的问题。进一步地,算法使用多核学习方法来取得图像和标签之间的内在联系,使算法不依赖于核函数的选择。为了进一步提升算法的预测性能,Boosting过程被结合到该算法当中,优化了关键词分类器。本文提出的两个算法分别在不同的三个基准数据集上进行了评估验证。实验结果表明,提出的基于核方法的跨模态检索算法能有效地完成图文交叉检索任务。关于特征降维的对照实验展现出了该算法性能对特征维度的无依赖特性和对稀疏特征的适用性。同时,提出的基于多核学习的图像标注算法表现出了良好的标签召回能力,能有效地完成图像自动标注任务。整体来说,本文提出的两种算法都能够满足多模态关联的要求,具有很好的研究意义和应用价值。