在大数据时代,海量多模态数据广泛存在,怎样通过模态数据间的互补学习来挖掘数据中隐藏的巨大价值,是现阶段大数据研究关注的主要问题,也是大数据与传统数据学习任务的主要区别。数据融合方法是多模态数据分析与挖掘的重要手段,然而多模态数据的模态不完整性、处理实时性、模态不均衡性和属性高维性为融合方法的设计提出了严峻挑战。本文针对多模态数据的上述特性,开展面向不完整模态分析融合、增量模态聚类融合、异构模态迁移融合和低维模态共享融合四个方面的多模态数据融合算法研究。主要贡献如下:(1)面向不完整多模态数据分析的融合,针对现有不完整多模态分析融合算法难以有效学习跨模态数据共享语义的问题,提出基于深度语义匹配的不完整多模态数据融合算法。利用深度学习网络的高层语义抽象特性,设计耦合模态私有深度网络和不完整模态共享特征学习的统一深度模型,实现不完整多模态数据的深度相关融合,降低模态共享特征的语义偏差。基于模态空间几何特性,设计局部不变图规则化因子,耦合子空间中多模态共享特征和原始模态特征,进一步提升融合结果的准确性。实验验证了该算法能够通过深度语义抽象对不完整多模态数据进行有效相关匹配,保证融合结果的精度。(2)面向增量多模态数据聚类的融合,针对现有多模态增量聚类融合算法精度易受参数选择影响的问题,提出一种无参数多模态数据增量共聚类融合算法。定义了新的多模态数据相似性度量标准,并设计了三种增量聚类策略,即簇创建、簇合并和实例划分,对多模态数据进行无参数增量聚类融合,提高算法效率的同时保证融合结果的鲁棒性。设计一种自适应的模态权重更新机制,在共聚类融合过程中对模态权重进行动态调整,满足模态对融合结果影响的动态变化需求,提升算法的可扩展性。实验验证了该算法在保持新增多模态数据聚类融合精度的同时,能够有效提高动态数据处理的效率。(3)面向异构模态数据迁移的融合,针对现有异构模态迁移融合算法难以有效弥补模态间较大语义偏差的问题,提出基于多层语义匹配的异构模态数据迁移融合算法。耦合模态深度网络与模态语义相关模型,设计基于多层语义匹配的统一深度网络架构。通过每一层跨模态特征的相关匹配,逐步减少异构模态间的语义偏差。利用顶层输出特征的最大相关对模态网络进行整体优化调整,进一步提升模态深度语义的相关性。定义新的目标函数联合优化异构模态深度匹配网络,得到跨模态高层语义融合子空间,在子空间内完成源模态知识到目标模态任务的迁移学习。实验验证了该算法能够通过多层相关匹配有效弥补异构模态数据间的语义偏差,得到更加可靠的迁移融合结果。(4)面向多模态数据低维共享的融合,针对现有多模态低维特征共享融合算法难以有效排除模态私有信息影响的问题,提出一种无监督多模态数据非负相关特征共享融合算法。设计模态私有(不相关或负相关)特征和跨模态共享(相关)特征共学习模型,通过模态私有特征的分离,提升低维共享特征表示的准确性。利用共享特征的耦合建立各模态联合优化目标函数,并利用模态不变图规则化和投影矩阵稀疏化辅助模型优化过程,进一步提升融合结果的精度。通过迭代的相关和不相关特征共训练、更新,得到低维潜在子空间中鲁棒的跨模态共享融合特征。实验验证了该算法能够通过分离模态私有特征有效学习多模态数据的共享特征,完成高维模态数据的低维融合。