跨模态医学图像文本检索可以通过医学图像检索得到对应的诊断报告或者通过诊断报告检索得到对应的医学图像,向医生提供包括医学图像和诊断报告在内的相关过往病例,可以提高临床决策的准确率和效率。跨模态检索任务需要学习到具有跨模态一致性和类间判别性的多模态特征,以便通过距离度量实现跨模态检索。然而多模态医学数据中医学图像相对于自然图像类间差异性更小且图像模态和文本模态的模态间差异更大,图像模态难以学习到具有语义判别性的图像特征。此外,一张医学图像通常包含了多个病症区域,所以医学数据样本通常具有多个语义标签且较为复杂。如何从色彩、纹理信息不丰富且噪声较大的医学图像中提取与诊断报告内容相关的复杂语义信息是一个难点。目前已有的跨模态检索方法大多是应用于自然数据集,没有考虑到医学领域中图像模态的学习难度远大于文本模态的问题,以及多标签医学数据中复杂的语义信息难以学习的问题。因此,本文提出了两种模型,基于复杂模态判别性增强的跨模态医学图像文本检索模型和基于多模态语义融合的医学图像文本检索模型。1.针对医学领域中图像模态复杂程度远大于文本模态的问题,本文提出了基于复杂模态判别性增强的跨模态医学图像文本检索模型。该模型通过图像模态子网络生成图像特征并利用对比学习方法增强图像特征的语义判别性,通过文本模态子网络生成文本特征,利用图像文本对的成对关系减小图像模态和文本模态之间的跨模态差异。此外,通过模态间参数共享的标签预测网络生成预测标签,构建标签预测损失,约束模型进一步减小跨模态差异并提升多模态特征的语义判别性。在三个医学数据集上的实验表明,该方法在跨模态检索精度上取得了一定的提升。2.由于一张医学图像通常显示了多个病症,所以一张医学图像和一份诊断报告一般属于多个语义类别。为了学习到多标签医学数据中复杂的语义关系,本文提出了基于多模态语义融合的医学图像文本检索模型。该模型通过语义模态子网络生成语义特征,然后利用一个模态间共享的跨模态注意力块提取文本特征、图像特征与语义特征之间相互关联的语义信息。并且特征空间和标签空间中的监督损失也充分利用了语义标签。实验表明该方法提升了在多标签医学数据集上的跨模态检索准确率。3.设计并实现了一个胎儿超声图像-诊断报告跨模态检索原型系统,该系统对本文提出的跨模态检索模型进行了封装,能够实现胎儿超声图像和诊断报告模态内与模态间的检索。医院妇产科医师可以在系统中输入胎儿超声图像检索相关诊断报告,输入诊断报告检索相关胎儿超声图像,输入胎儿超声图像检索数据库中相似的胎儿超声图像,输入诊断报告检索数据库中过往相同病症的诊断报告。