现有的目标识别技术大多采用单一的目标图像数据。然而在现实环境中,图像往往不是唯一的目标信息来源,目标的属性数据、语义描述等文本数据也是判别目标特征的重要依据。融合多模态信息的目标识别可以利用各自模态的优势,改善单一模态下的目标特征缺失等问题,从而提高识别精度。一方面,多模态目标识别属于分类任务,需要对目标进行跨模态特征建模,以融合多模态的数据信息。然而,多模态数据为异构信息,存在语义偏差、模态不平衡等问题,导致多模态数据的融合面临挑战。另一方面,在细粒度的零样本识别任务中,通常利用未知目标类别的辅助文本信息,联合已知类别的图像信息进行判别,如何建立视觉和语义特征的有效映射关系是零样本识别的关键。本文围绕上述两个方面的任务,对多模态分类算法和细粒度零样本目标识别算法进行了研究。本文主要工作如下:1.针对多模态数据易嘈杂、模态强弱不一致、模态融合困难等问题,提出了一个基于跨模态注意力的多模态分类模型。通过序列注意力的多模态融合增强模块,改善图像和文本间的特征对齐。同时,构建了一种跨模态注意力模块,使得模型自适应地学习各模态的权重,提升了模型的鲁棒性。2.针对细粒度零样本识别中目标特征尺度不一、视觉语言特征空间偏差等问题,提出了一个融合多尺度视觉特征的密集注意力目标识别模型。通过多尺度视觉特征提取方法,优化了图像文本间的属性级特征关联。此外,构建了一种文本增强的属性文本特征嵌入方法,扩充了属性文本特征,从而提升细粒度零样本识别的精度。3.设计并实现了一个面向鸟类的多模态目标识别系统。该系统采用Spring Boot和Vue等框架搭建,将本文提出的目标识别模型运用于细粒度的鸟类数据集CUB上,实现了对目标数据预处理、模型参数配置、调用模型算法进行评估验证等功能。