论文部分内容阅读
影像报告作为医学影像信息系统中对患者的影像检查和诊断信息进行记录的媒介,无论是在医生的临床工作还是研究工作中都被广泛的使用。影像报告亦是门诊医生与影像科医生之间重要的交流手段。然而查阅和书写影像报告是一件十分耗时和繁琐的工作。帮助医生更高效地进行影像报告的查阅和书写对于减轻医生的工作负担和提高医院的服务质量有着至关重要的意义。本研究的目的在于利用人工智能技术对医学影像信息系统中报告查阅和书写功能进行自动化和智能化改造,从而提高医生处理影像报告的效率。具体地说,本文基于深度学习技术开展了影像报告信息抽取、影像诊断结论自动生成、结构化报告自动生成三项智能化报告技术的研究。这些智能化报告技术被分别建模成序列标注、文本摘要和图像分割问题,并使用本文新提出的神经网络模型加以解决。本文主要的创新性研究工作如下:对于影像报告的查阅,本文提出了一种影像报告的信息抽取和可视化显示方法,它能对影像报告中的关键信息进行抽取、分组、传递和显示。本文提出的基于专业临床术语和多粒度词嵌入的神经网络模型Multi-Embedding-BGRUCRF编码了文本的词典匹配信息、偏旁部首信息和上下文信息,在关键信息抽取任务中取得了95.88%的F1值,比基准模型高1.70个百分点,基于规则的实体分组方法也取得了91.03%的准确率。本文还研究了将信息抽取功能集成到放射信息系统中的方法,通过在传统的放射信息系统中添加信息抽取服务器、JSON对象存储数据库和关键信息展示界面,实现了二者的集成。进一步的对照实验表明,集成了信息抽取功能的放射信息系统能帮助医生减少约46%的报告阅读时间。对于影像报告中诊断结论的书写,本文提出了一种诊断结论自动生成方法,它能根据影像报告中的影像表现和其他字段信息自动生成诊断结论,该生成的诊断结论可以作为一个动态生成的模板供医生进行编辑,从而减少医生书写影像报告的编辑次数,提高书写效率。本文提出的基于信息融合编码的神经网络模型Info Fusion2Seq不仅对影像表现文本进行了编码,还对影像报告中其他的短文本字段和结构化字段进行了不同方式的编码,并将所有的编码信息进行了融合后供解码模块进行解码输出。该方法在测试数据上取得了77.03%的ROUGEL值和11.49的编辑距离,优于本文列出的所有基准模型。实验结果显示基于该方法生成的报告模板进行书写,能减少医生书写诊断结论的编辑次数,提高医生书写报告的效率。对于青光眼筛查报告的生成,本文提出了一种精细化图像分割方法,并基于此进行图像测量和计算进而生成青光眼筛查报告。该精细化图像分割方法主要包括轮廓变换和序列标注网络SU-Net。轮廓变换是本文提出的一种图像坐标变换方法,可以将一幅图像变换到以任意轮廓线为中心的图像。SU-Net是一种从自然语言处理领域中得到启发的用于图像分割的序列标注网络,它直接对分割边界进行预测。该精细化图像分割方法可与任意的普通分割方法组成一个两步的由粗到细(Coarse-to-Fine)分割流程,能进一步抑制背景噪声并获得更加均衡的前背景比例,从而减小分割误差。对于视盘和视杯的分割,本文使用该精细化分割方法在两个公开数据集:MESSIDOR和Drishti-GS上都取得了目前最佳的效果。本文进一步在Drishti-GS数据集上测试了该分割方法在青光眼筛查报告自动生成中的效果,实验结果显示本方法取得了目前最小的杯盘比(Cup-to-Disc Ratio)误差(0.047)和最高的AUC值(0.935)。