近年来,随着互联网的迅速发展,包含图片和文本的多模态数据开始广泛出现在各种社交平台上。这些数据为情感分析提供了全新视角,多模态情感的自动分析与理解开始受到学术界关注。但目前社交媒体图文情感分析研究大多关注单一图文对,忽略了社交帖子中可能涉及多幅图片的事实。此外,现有情感分析方法未能充分考虑文本和图像中的关键辅助信息。为解决上述问题,本文从文本和图文两方面展开情感分析研究工作。首先,针对现有中文图文情感数据资源相对缺乏的问题,本文结合实际需求构建了一个大规模中文社交媒体图文情感数据集,其中每个社交帖子中可以包含多幅图片,并将其用于评估不同情感分析方法在社交媒体图集文本数据上的性能。其次,借鉴序列标注（Sequence Tagging）的思想,本文采用两种不同方式抽取文本中显著表达用户情感倾向的文本情感辅助信息。一是使用多种方式对文本进行特征表示,然后采用双向长短期记忆网络（Bi-directional Long Short-Term Memory,Bi LSTM）预测文本中每个字属于不同标签的概率,最后使用条件随机场（Conditional Random Fields,CRF）筛选获得最终抽取结果;二是在文本表示阶段引入词性信息,获得更加丰富的语义信息,并将依存句法信息融入到图卷积网络（Graph Convolutional Networks,GCN）中以捕捉远距离字符间的依赖关系,尝试改善文本情感辅助信息抽取效果。最后,本文提出两种社交媒体图文情感分析方法。一是利用协同注意力机制捕捉图集和文本之间的关联信息,进行图文情感分析;二是在第一点基础上,针对社交媒体图集中存在的部分图片与图文整体情感不一致问题,将抽取的文本辅助信息融入图文情感分析任务中。同时在多任务学习框架下,利用图片情感辅助标签识别任务辅助图文情感分析,并解决可能存在的图片情感不一致问题。实验结果表明,融合辅助信息的图文情感分析方法能够有效提升情感分析性能,为图文情感分析任务提供新思路。