大数据时代的到来以及深度学习的兴起使得图像描述成为了人工智能热门研究方向。传统的方法虽然在某种程度上能够完成基本的描述任务,但是在准确度丰富度上还存在一些不足。此外,它们只是利用了单一的图像属性或者图像的视觉特征,对于它们之间的关联性以及不同模态特征之间的互补性并没有进行详细的研究。为此,本文提出了两种图像描述的改进方法。一是基于视觉注意力与用户注意力社交图像描述方法。该方法意在利用社交图像中用户的个性化标签对视觉特征中存在的偏差进行纠正,与此同时用户个性化标签还能够利用自身不同的词汇将描述的句子进行进一步丰富与完善,即依据用户标签生成符合用户需求的个性化描述。二是基于层次化注意力的多模态融合图像描述方法。考虑到图像的不同特征之间存在互补性等特点,该方法将图像的特征分为三种模态,即表示图像高层语义信息的属性、表示图像中层语义信息的全连接层图像特征、表示图像低层语义信息的卷积层特征。为了将不同模态的特征进行高效地融合,本文将这三种不同模态的特征进行多层次注意力的处理。模型能够动态的利用不同层次的注意力来调节不同模态的特征来进一步提高图像描述的准确度以及丰富度。为了验证模型的有效性,本文提出的两种网络模型都在MS COCO数据集上进行了实验,与传统网络相比,本文的模型无论是在评测指标还是在描述效果上均有提升。此外,本文模型还进一步丰富了的图像描述内容,使其更加个性化。