人工智能技术在近几年得到快速发展,问答系统是其中的一个重要的组成部分,并在工业界受到广泛关注。随着计算机科学与技术的发展,文本、声音和图像等媒介不再是作为单一的个体和人类交互,而是相互组合一起,组成一种以多模态数据为载体的新型的交流方式。因此,多模态视觉问答任务成为了新的研究热点。给定一个问题和对应的图片,视觉问答系统旨在正确回答该问题。虽然目前的视觉问答模型已经有了较高的回答准确率,但是往往会因为图片和问题中包含过多与推理无关的信息,从而无法进行正确的推理。本文提出一种新型的基于深度并行联合注意力的视觉问答模型（Deep Parallel Co-attention based visual question answering Model,DPCM）。DPCM模型主要划分为三个阶段:图文特征提取阶段、深度并行联合注意力阶段以及特征融合和分类阶段。在深度并行联合注意力阶段,本文提出了并行联合注意力层。该层联合使用自注意力机制和引导注意力机制来分别获得两个视角的更新特征,然后对两个视角的更新特征进行双线性融合,最后使用融合后的特征更新原始特征。进一步地,本文在DPCM模型的基础上进行了改进,提出了基于深度不平衡交互的视觉问答模型（Deep Unbalanced Interaction based visual question answering Model,DUIM）。区别于DPCM中的深度并行联合注意力阶段,DUIM模型在并行联合注意力的基础上提出了不平衡交互层。不平衡交互层考虑到多模态数据中存在的与推理无关信息的影响,提出细粒度自适应激活方法来对这些无关信息进行过滤。通过以上方式,DPCM模型和DUIM模型在视觉问答的推理阶段可以进行更合理的推理,提高了模型的推理能力,从而更容易找到正确的答案。实验结果表明,在视觉问答的基准数据集上与8种对比模型相比,DPCM模型和DUIM模型均获得了更好的推理性能。