随着互联网技术的不断发展,信息越来越倾向于依靠多种模态的数据进行传播。这些模态的数据通常具有高度相关性,而每一种模态的数据往往又携带了特有的信息。在此背景下,只对单一模态的数据进行学习已经很难满足人们的需求,因为这往往会导致信息丢失等问题。而对具有相关性的多模态数据进行联合学习,不仅可以挖掘不同模态数据之间的语义关系,还可以使得各种模态数据所携带的信息能够互为补充,进而获取更为全面的信息。因此,多模态学习已经成为当今人工智能领域的热点,其中对图像-文本数据进行联合建模更是受到工业界的青睐。本文主要专注于研究图像-文本数据的多模态联合建模方法,提出了多模态威布尔变分自编码器,并在后续对该模型进行改进和拓展。本文的主要内容如下:第一部分主要对现有的基于概率生成模型的多模态数据建模方法进行了分析和总结,从理论上分析了各种模型的优缺点。本文首先讨论了基于浅层概率主题模型的多模态数据建模方法以及基于神经网络的多模态数据建模方法,分析了这两类方法的优缺点,然后讨论了基于深度概率主题模型的多模态泊松伽马置信网络,该模型能够很好地弥补上述两类方法的不足,但同时它也具有局限性,这是本文重点研究改进的方向。第二部分主要介绍了本文提出的多模态威布尔变分自编码器。尽管与基于浅层概率主题模型的多模态数据建模方法和基于神经网络的多模态数据建模方法相比,多模态泊松伽马置信网络具有能够提取易于解释的层次化隐表示这一优势,但是它也具有难以实现实时预测、难以加入监督信息和辅助信息等局限性。为了保留多模态泊松伽马置信网络的优势,并弥补它的不足,本文提出了多模态威布尔变分自编码器。它以多模态泊松伽马置信网络为解码器,以一个推理网络作为编码器。该推理网络能够对威布尔变分分布进行重参,进而利用威布尔变分后验去逼近模型隐表示的真实后验分布,从而能够在测试阶段将输入数据直接映射到隐层表示,实现实时预测。并且,由于模型使用了网络映射,从而也能够方便地加入监督信息和辅助信息。此外,本文还使用了卷积神经网络对图像提取全局特征并将它作为辅助信息引入到模型中来帮助模型提高多模态联合分类性能。最后,在多种数据集上的实验证明了多模态威布尔变分自编码器能够进行实时预测,并且由于能够加入监督信息和辅助信息,使得模型达到了较好的性能。此外,模型还能够通过主题来可视化各种模态数据之间的层次化联系。第三部分首先介绍了基于注意力机制的多模态对齐模型,使用该模型可以提取具有丰富细节的图像文本联合特征,而后将该联合特征作为辅助信息引入到多模态威布尔变分自编码器中,从而解决了使用图像的全局特征作为辅助信息的两个局限性:1)缺少文本信息;2)不具备丰富的细节信息。实验进一步表明,该模型达到了最先进的多模态联合分类性能。此外,本文也对模型学习到的图像子区域和文本单词之间的注意力关系进行可视化分析。