在大数据时代,海量多模态数据广泛存在,怎样通过模态数据间的互补学习来挖掘数据中隐藏的巨大价值,是现阶段大数据研究关注的主要问题。本文研究领域图像标题生成和视觉问题回答便是在寻找图像与文本这两种模态数据之间的桥梁。图像标题生成任务是让机器自动生成一个有意义的句子来准确描述该图像的内容,属于计算机视觉与自然语言处理的交叉领域。现有研究多通过卷积神经网络编码图像信息,循环神经网络解码生成文本信息,在此基础上添加传统的注意力机制。但现有方法只针对特征图不同区域进行注意匹配,忽略特征图通道,易造成注意偏差。为解决该问题,本文提出新的注意力模型,融合非降维注意力机制（FND-ICG）。FND-ICG编码器通过三个并联的注意力机制对图像进行编码:其一,与传统注意力相似,求区域注意力值,但是在此基础上进行创新,利用全连接进行特征融合,充分提取图像信息;其二,与传统注意力不同,求通道注意力值,利用当前嵌入单词与隐藏层状态的耦合度来赋予特征图不同通道相应权重;其三,将二维图像处理成向量,使用非降维的一维注意力机制来处理该向量。利用可视化工具对生成标题时候定位图像的区域进行特殊化处理,以达到解释模型的目的。实验结果在指定的评估方法上有一定的提升,表明FND-ICG模型可以生成更加流利准确的自然语句。视觉问题回答旨在让计算机理解图像内容后根据自然语言问题进行自动回答。可将问题划分成两类,能从图像中直接获取答案和需要借助外部知识获取答案。目前视觉问答研究普遍在第一类问题上具有较高的准确率,但是回答第二类问题的技术尚不成熟。为了扩大可回答的问题类型,本文提出了一个创新的模型,可解释的视觉问答（Exp-VQA）:首先针对问题定位图像区域生成特征向量来代替图像;其次利用数据集中“问题-答案”和对象标记框注释使机器挖掘出表示人物关系的三元组;然后生成视觉解释和文本解释,其中视觉解释通过可视化与问题关系度大的标记框组成,文本解释由外部知识库三元组和图像生成的标题组成;最后由几个模块共同生成答案。经过若干组实验对比,可看出在数据集上Exp-VQA比一般模型表现的更好。