We Are Social和Hootsuite合作发布的《2022全球数字洞察报告》显示,全球的社交媒体用户已经达到46.2亿,约占全球总人口的58.4%,较去年同期增长了10%以上。在这个社交媒体蓬勃发展的时代,越来越多的用户通过自己的社交账号,将个人的看法或体验以图片和文本的形式来分享给他人。这类带有用户丰富情感的多模态数据有利于了解人们对某一事件看法,在政治选举、大盘走势、票房预测及情绪干预方面都有巨大的应用价值。因此,如何有效地从这些图文数据中提取情感信息受到了广泛的研究。于是,多模态情感分析受到了广泛的关注,这也是本文研究的方向。然而,现有的研究仍存在一些不足之处。鉴于情感的抽象性和复杂性,图像的情感一般由一个或多个细微的局部信息来呈现。现有的基于注意力的多模态情感分析方法中,仅通过一次注意往往无法获取准确和完整的情感区域。其次,色彩所蕴含的情感信息也没有得到充分的挖掘。而且,现有的研究多采用GloVe和BERT作为预训练模型,GloVe产生的词向量是静态的,不能处理多义词。BERT没有充分利用数据中的词汇结构、句法结构和语义信息,这个问题在中文方面尤为明显。此外,多模态特征融合都以确定性操作来构建多模态联合表示,无法有效的利用多模态信息。针对上述不足,本文提出了一种基于人类感知过程的多模态情感分析方法（MSA-HPP）。本文的具体工作如下:（1）受人类感知过程的启发,本文通过循环注意力机制模拟这一过程。它可以根据过去的信息更加准确和完整的定位这些情感判别区域,忽略一些无关的信息。（2）受摄影艺术的启发,论文重点研究了饱和度、色调和亮度对情感分析的影响,并验证了其在情感分析中的有效性。（3）大多数融合技术都以确定性的操作来构建多模态联合表示,无法有效的利用多模态信息。本文采用自动融合网络,通过最大化各模态之间的相关性来提取多模态特征,解决了确定性操作引起的信息冗余问题。（4）针对GloVe和BERT的不足,采用了ERNIE预训练模型,它构建了一种基于词汇、句法和语义信息的预训练任务,强化了语义表示能力。（5）在MSA-HPP方法中,考虑了视觉特征和色彩特征对情感分析的影响,但不同信息不同层次的特征融合也是决定情感分析的重要环节。而且,在全局和局部特征的信息融合部分,也只是简单的拼接操作。针对上述问题,提出了一种基于自适应门控信息融合的多模态情感分析模型（AGIF）。先通过门控信息融合网络将Swin Transformer和CNN提取的不同层次的视觉和色彩特征依据对情感分析的贡献进行自适应加权融合,然后利用门单元学习全局与局部特征对情感分析的不同贡献进行加权融合。在4个真实的数据集上进行了一系列实验,充分证明了提出的两个算法的优越性和有效性。