论文部分内容阅读
医学影像数据包含了患者丰富的健康信息,是临床上多种疾病早期筛查、鉴别诊断和治疗的关键依据。随着医学影像技术的飞速发展,医学影像数据呈指数性增加,给临床和放射科医生带来了巨大的诊断压力和报告撰写负荷。如何有效的提取出影像中有价值的信息来辅助影像诊断和报告撰写是一项巨大的挑战。近几年来,随着人工智能技术的飞速发展,深度学习在医学领域的应用大大增加,驱动了大量基于深度学习的影像报告自动生成研究。当前的影像报告生成研究取得了一定成功但仍存在许多局限,没有充分结合影像报告的医学特征和语义特征,单纯通过训练模型来强行将影像图像特征和报告文本特征进行对齐,生成的报告质量不高,临床意义有限。基于此,本研究提出了一个新的基于模板的多注意力机制影像报告生成模型。该模型充分结合了影像报告的医学语义特征和深度学习的优势,更加准确有效的实现了影像报告的自动生成。本研究的主要内容包括:(1)调研了当前可开放获取的胸部影像数据集,分析了各个影像数据集的结构、内容和特点,从而为本研究选取合适的实验数据来支撑影像报告生成模型的构建和训练。同时,文献回顾了基于影像数据的胸部病变识别和影像报告生成研究,系统梳理了前人研究的优势和局限,为新研究方法的构建提供了充分的理论基础。(2)本研究提出了一个新的基于模板的多注意力机制影像报告生成模型TMRGM。TMRGM模型在影像报告生成上充分结合了影像报告的医学特性,针对健康人群和患病人群采取不同的方法来生成其影像报告。健康人群的影像报告生成上,本研究通过人工标注和筛选构建了一个影像报告模板库(包含了 63个关于诊断意见(Impression)字段的模板句和150个关于影像所见(Findings)字段的模板句),并选取其中的6句组合形成影像报告模板来生成健康人群的影像报告。患病人群的影像报告生成上,通过加入共同注意力机制(Co-attention)和自适应注意力机制(Adaptive attention)来有效的融合影像图像特征和病变标签的文本特征并使模型自动选择是基于图像特征、句子主题还是已经生成的文本特征来生成报告文本,实现了高质量的影像报告生成。(3)基于OpenI胸部X射线影像数据集对提出的TMRGM模型进行训练和评估。本研究利用准确率、召回率和F1 score来评估TMRGM模型在胸部病变识别上的准确度,利用BLEU score、METEOR、ROUGE和CIDEr来评估TMRGM模型在影像报告生成上的效果。实验结果表明,TMRGM模型的准确度超过了 TieNet、Adapt-att 和 Co-att 等 baseline 模型,BLEU-1 为 0.419,METEOR 为 0.183,ROUGE分值为0.280,CIDEr为0.359,证明了 TMRGM模型在影像报告生成上的准确性和有效性。综上,本研究在对现有胸部影像数据集和影像报告生成研究的调研基础上提出了新的基于模板的多注意力机制影像报告生成模型TMRGM,并在OpenI胸部X射线影像数据集上对模型的准确性和有效性进行了验证。希望可以辅助放射科医生快速找出胸部病变,完成影像报告的撰写,减轻阅片和报告撰写负荷,提高影像诊断精度和影像报告质量,实现更好的患者诊疗。