多模态数据是人类对自然界事物不同形态的抽象,并且多模态数据往往也是人们信息交流的载体,因此如何将多模态数据进行特征学习是对数据认知和理解的重要基础。由于近几年深度学习的快速发展,深度学习在单模态数据上的特征提取已经趋于完善,但相比人类学习过程而言,深度学习还存在诸多问题,例如深度学习需要大量的带标签的数据进行训练,以及无法引入人类的先验知识进行推理与迁移等问题。根据人类学习知识的经验,利用拓扑图结构可以直观地构建知识体系,所以,不管在多模态特征提取还是多模态特征融合中,图网络都非常适用。因此,本论文提出基于图网络的多模态特征学习框架,并根据不同多模态学习任务中遇到的问题,设计不同的多模态特征学习算法模块。本论文将针对传统深度学习在目标检测和推荐系统中遇到的问题,研究其基于图网络的多模态特征学习算法。针对现有移动交通场景下目标检测模型训练样本和实际测试样本特征分布存在差异的问题,提出智能交通移动边缘计算知识共享框架,利用多模态特征实现边缘计算节点间的知识共享。为了克服传统目标检测算法无法与其他模态通过时空关系建立联系,以至于无法利用多模态数据实现边缘计算场景下进行知识迁移的问题,提出了跨模态上下文知识推理多目标检测算法模块,该模块通过利用图网络提取图像中的关系特征,并利用多模态双线性池化融合方式将跨模态上下文知识进行与图像实例间的关系特征进行融合和推理。通过模拟移动边缘计算中模型的训练过程,验证了该算法模块在交通场景跨域目标检测任务中的有效性,以及该算法模块在知识共享框架下对少样本迁移学习能力的提升,且目标检测精度提升多达4个百分点。传统的推荐系统无法充分利用从多模态数据中提取的特征,进而无法很好解决推荐系统中数据稀疏和冷启动问题,因此,本论文根据推荐系统任务的特点,结合知识图谱所具有的拓扑结构,提出多关系知识图谱协同过滤算法模型,该算法将图卷积网络与关系图卷积网络相结合,并采用分层异构图特征融合网络,进而充分学习知识图谱与用户间的协同关系,并且算法可以通过设置不同的关系图卷积层数以适应不同的推荐数据结构和需求,实验表明,该算法在标准数据集上推荐性能提升可以达到2～5个百分点,并在模型训练速度上达到了同类算法的3～4倍。基于图网络的多模态特征学习在目标检测、推荐系统中的实际应用结果表明,图网络对于构建不同模态的特征关系与利用外部先验知识进行迁移和推理有着优异的表现,且可以广泛应用在其它多模态应用场景。