医学图像是一类被广泛应用于临床诊断的数字图像,但医学图像具有分辨率低,不同器官组织分界模糊的特点。近年来,针对医学图像的自动语义理解研究已经成为了一个焦点。目标检测和图像主题生成算法都是计算机视觉领域的重要分支,且近年来都取得了令人瞩目的发展,将这两种算法结合并引入医学图像处理中具有重要的临床应用价值。通过目标检测算法检测出医学图像中病灶区域的位置,对病灶区域进行编码,使得编码向量中携带更多的有用信息,排除了医学图像中背景和不相关组织的干扰,从而达到提高生成诊断报告质量的目的。目前已有的医学图像主题生成算法集中于提高生成的诊断报告与真实报告间的相似度,但没有考虑生成的报告中病理信息准确率的问题,这使得生成的诊断报告可靠性降低。因此,基于目标检测算法和图像主题生成算法,本文提出了两个模型,融合病理信息的医学图像主题生成模型和强化学习辅助训练的医学图像主题生成模型,以此来提高生成诊断报告的质量以及诊断报告中病理信息的准确率。本文具体研究工作如下:1.针对目前医学图像主题生成算法存在的诊断报告病理信息不准确的问题,本文提出了一个融合病理信息的医学图像主题生成模型,该模型利用目标检测算法检测出医学图像中的病灶区域,对病灶区域进行编码和病理信息的提取,解码模型通过学习融合图像编码和病理信息生成诊断报告,实验结果表明,相比于只依赖于视觉信息的模型,本文提出的基于病理信息融合的模型能够生成病理信息更加准确的诊断报告。2.为了将生成的诊断报告中病理信息错误的样本用于模型参数的优化,本文提出了一个基于强化学习的医学图像主题生成模型,该模型在解码模型中增加一个病理信息诊断分支,将诊断分支预测的结果与真实病理信息进行比较得到误差,利用强化学习中的策略梯度算法计算诊断报告生成模型中参数关于该误差的梯度,并对这些参数进行优化,使得生成的诊断报告的病理信息更加准确。3.设计并实现了一个自动生成医学图像诊断报告的仿真系统,该系统对本文提出的两个模型进行了封装,用户通过易于操作的界面便可将超声图像或者X光图像导入到系统中,在设置完超参数后系统自动输出医学图像的诊断结果,该系统不仅为将来的研究提供了一个易于扩展的平台,同时还具有一定的临床应用价值。