随着互联网的快速发展,社交媒体上积累了大量的用户生成内容,这些用户生成内容是许多下游应用的重要信息来源。命名实体识别是从社交媒体数据中挖掘有用信息的关键技术,然而由于社交媒体上的文本通常较短且包含较多噪音,导致传统的命名实体识别模型在社交媒体领域表现不佳。近年来有研究者提出了多模态命名实体识别模型,旨在利用和社交媒体文本相关的图像信息辅助识别命名实体。虽然现有的多模态命名实体识别模型取得了不错的性能表现,但是这些模型仍然存在两个不足:首先,大多数现有模型忽略了图像中视觉对象和命名实体之间的交互关系,而这种细粒度的交互关系有助于模型更好地识别不同类型的实体。其次,这些模型忽略了不同模态之间特征分布不一致带来的语义差异问题,简单地将视觉特征和文本特征拼接可能会导致模型性能下降。针对这两个不足,本文提出了一种基于视觉对象引导的多模态命名实体识别模型。该模型首先利用目标检测模型提取图像中的视觉对象,然后利用密集协同注意力捕捉图像中多个视觉对象和文本中不同类型的实体之间的交互关系。此外,该模型采用视觉对象标签的词嵌入作为视觉对象特征,在保留视觉对象语义的同时,避免了不同模态之间特征分布不一致带来的语义差异问题。基于视觉对象引导的多模态命名实体识别模型仍然存在两个不足:首先,该模型为非实体词集成了无关的视觉对象信息,这可能会误导模型将非实体词识别为实体。其次,该模型忽略了视觉对象之间的语义关系,而视觉对象之间的语义关系是理解图像语义的重要依据。为了解决这两个不足,本文进一步提出了一种基于两阶段和对象关系的多模态命名实体识别模型。该模型将多模态命名实体识别任务分为基于文本的实体边界检测和基于多模态的实体类别识别两个阶段,避免了为非实体词引入无关的视觉特征。此外,该模型还采用关系图卷积网络捕捉视觉对象之间的语义关系,以利用多个视觉对象共同表达的图像语义辅助识别命名实体。本文在两个多模态命名实体识别数据集上进行了大量的实验,实验结果表明,本文模型在F1值上优于所有的基线模型,验证了模型的有效性。