多模态学习是当下机器学习中特殊且重要的一类,旨在利用多种模态的数据信息采用机器学习方法进行信息挖掘和预测的学习方法。其常用的技术方向分为多模态表示学习,多模态翻译,多模态对齐,多模态融合,多模态协同学习等。其中,多模态融合是多模态学习的重要部分,通常在决策型任务中对模型的效果起着至关重要的作用,与多模态表示学习和多模态对齐有着不可分割的关系。多模态融合在过往的研究中通常依照融合时间分为早期融合、中期融合与晚期融合。其中,早期融合是数据层面的融合,将仅经过预处理的数据进行直接拼接通过模型一起训练学习,此类方法尽管简单易操作,但未能极尽不同模态数据的特征作用,且通常需要正则化或降维手段减小维度;而晚期融合是决策层面的融合,即对不同模态的数据分别构建不同的模型,在决策结果层面上做加权或池化操作,虽可产生独立的误差但未能挖掘模态之间的相关性。中期融合是研究较多的融合方法,可规避早期和晚期融合的弊端。在过往的中期融合研究中有通过生成式方法学习所有模态数据的联合分布,以进行模态的融合的方法,但此类方法通常需要接判别模型进行二阶段精调,同时对多模态数据的相关性有要求;亦有通过张量点积或因子分解机构造全量的融合特征,虽然融合较为充分,但冗余特征较多,需要使用正则化手段或降维进行特征控制;亦有通过门控单元或注意力机制自动学习模态融合的。本文通过对基于门控单元方法的改进,在激活函数层面、连接方式以及融合方式和融合深度上做了极大的改进,构造一个深度自动充分融合算子,激活函数允许其自动选择融合时间,门控单元允许其自动选择融合信息,残差连接保证融合充分度,同时算子可控制其维度大小。此外,本文分析了噪声数据对多模态融合的影响,提出噪声数据对多模态融合数据影响的严重性和必解决性。同时,本文给出了几种不同的解决方案,首先是基于注意力机制的信息修正,利用注意力的修正机制和模态之间的相关性与可挖掘行做噪声信息的修正,第二种则是基于生成式或其他特殊技术手段的数据增强方案。结合上述两个问题,本文采用基于注意力机制的信息修正在金融风控数据集的多个场景上进行了几种不同融合方法的实验,在几个观测指标上都取得了不错的效果。本文所提方法依然存在不足之处,一是未能有效解决缺失模态的问题,在后续的探索中可以尝试部分生成式方法进行缺失模态的解决;此外可解释性也是业界关注的一个关键点,需要借鉴当下的可解释性算法对模型解释。