社交媒体数据的体量随着网络技术的发展得到了飞速增长,而社交数据能够真实反映用户的心理、情绪等信息,除此之外对一些有害信息进行及时鉴别也是十分必要的。而随着移动设备的发展,越来越多的用户选择在社交媒体上分享自己的视频、图像、音频等数据,社交媒体数据已经呈现多模态化的趋势。然而对多模态数据进行分析仍然存在许多问题,主要包括了模态间数据表现形式不统一的问题以及模态间表征内容不统一的问题。受限于模态间数据的结构性差异,目前的主流多模态分类任务一般采用双流模型的设计,即使用各自模态对应的模型进行高质量特征提取并进行融合。但是不同模态之间目前采用的方法不尽相同,这也导致了模态之间存在量纲等难以调和的差距,这为模态间信息融合带来了难以逾越的鸿沟。随着Transformer机制和预训练模型概念的提出,使用单一结构的模型处理不同模态数据为大幅度缩小模态间结构性差距提供了可能性。针对目前双流模型存在的不足以及早期单流模型中一些难以弥补的缺陷,本文展开了以下的研究:（1）针对模态间数据存在结构性差异的问题,本文提出了基于离散变分自编码器的单流表征模型。该模型首先使用离散变分自编码器将具有多样性的图像数据降维采样到有限范围的序列组合,这使模型可以采用与文本数据类似的模型来提取在图像数据中所蕴含的信息。接下来本文选择了结构相同的BERT模型作为两种模态的特征提取模型,并将处理后的信息进行拼接并使用一个额外的BERT模型计算两种模态之间的自注意力,最终得到融合之后的特征向量。在本文所收集到的多模态社交数据集中,本文提出的单流模型达到了74.83%的准确率。除此之外本文还与其他主流的双流模型进行了实验对比,结果证明了本文模型的有效性。（2）针对模态间的数据差异会带来表征空间层次的语义差异,本文还提出了基于对比学习的单流模型表征对齐优化用于进一步改善模态间的结构性差距。通过将当前训练迭代步骤内的某种模态表征与当前步骤内和之前几个训练迭代步骤中的另一种表征进行联合对比,并使用NT-Xent损失函数生成额外的对比学习损失以用于修正两种模态之间的信息差距,本文提出的模态对齐优化方法能够有效提升模态间的信息对齐程度。在本文的实验中,在单流模型上使用了对齐优化的方法可以使准确率提升到76.11%。除此之外,本文还在其他双流模型上实验了所提出的对齐优化方法,实验结果均证明了本文的方法能够提升多模态模型的表征效果。