论文部分内容阅读
计算机断层扫描(Computed Tomography,CT)能够提供病人体内的三维结构信息,帮助医生进行更为精确的诊断,但是与X光片相比,CT不仅会给病人带来更多的辐射危害,而且存在检查费用偏高、检查流程耗时长等缺点。此外,CT设备高昂的价格导致其难以覆盖到所有区域。传统的CT重建方法通常需要上百张覆盖病人全身的X光投影,这在一般的X光片采集设备上难以实现。本文提出一种新的思路,即基于深度学习的技术,仅利用两张正交的X光片重建出完整的三维CT。为此,本文提出了一种高效的生成器将二维的数据(X光片)提升到三维(CT)。同时本文也提出了一种在端到端学习的过程中融合两个视角信息的方法。为取得视觉结果和量化结果的相对平衡,训练过程中采用的损失函数结合了均方根误差和对抗损失。对于没有CT扫描设备的地区,本文提出的方法提供了一种利用低成本的X光片采集设备获得人体内部三维信息的一种可能。充分的实验表明了本文方法的有效性。主要工作以及贡献如下:(1)调研了通过X光片获取三维信息的一些传统方法并分析了其局限性。传统方法重建的基本是三维模型,本文提出通过深度学习从两张X光片直接恢复CT的原始数据度量(Hounsfield Unit,HU)。本文从深度学习的角度出发探索了从二维X光片重建三维CT的可行性,并深入研究了深度学习尤其是生成对抗网络相关的网络结构、损失函数、训练及测试技巧等。(2)为充分利用两个视角的互补信息,本文提出了一种新的适用于端到端训练过程的信息融合方式。同时,本文提出了一种新的模型,命名为CTGAN-EF,以此来提升数据维度、捕捉人体内部解剖结构细节以及融合双视角互补信息。(3)在利用深度学习的方法对数据升维的过程中,需要解决的关键问题就是如何将网络提取的二维特征和三维特征有机地结合起来,使得网络的三维输出能够直接受益于浅层的二维特征信息。因为这些浅层的二维特征往往包含更加具体的边缘轮廓、位置、明暗等信息,对于重建结果有着很大的促进作用。本文提出了一种新的跨越连接模块,该模块可以更加自然地连接二维和三维特征。(4)目前尚不存在成对的X光片与CT公开数据集,但是有较多的肺部CT数据集。为此,本文使用数字重建影像(Digitally Reconstructed Radiographs,DRR)技术生成虚拟的X光片作为训练数据。为缩小真实X光片与虚拟X光片的模态差异,本文借助于CycleGAN模型完成真实X光片与虚拟X光片的风格转换。因此,即使本文提出的模型基于虚拟数据训练,借助于CycleGAN,所训练的模型依然能够从真实的X光片重建完整CT。