随着医学成像技术和计算能力不断地革新发展,微创介入手术由原来的尝试到现阶段的广泛应用于临床实践,并引出了许多崭新的微创介入手术领域,这提供了许多有意义的技术挑战,继续需要新颖的技术解决方案,对影像引导系统中追踪系统、图像分割与配准、可视化技术以及人机交互系统的要求更高,在术中引导过程,需要全方位地监测手术介入全过程,给予临床医生对每个细小环节可控选择,这需要多种模态的医学图像共同作业,构建解剖结构的时间与空间信息互补。譬如,临床上关于脊椎相关疾病的诊治,特别是腰椎部位,无论是术前的病理诊断与分析、术中引导介入过程,还是术后疗效评估,都需要扫描CT和MRI作为辅助手段,其中,CT图像对骨性结构敏感,成像效果好,在术前诊断、分析过程中,临床医生可借助CT图像快速、精准定位椎骨的病灶区域和位置。然而,CT图像中的软组织对比度不高,不利于像椎间盘突出这类疾病的精准判断,与之对应的是MRI,软组织成像质量高,利用MRI,可以清晰识别完整的解剖结构和组织,帮助临床医生快速找到异常的软组织,准确判断其病因。在术中手术介入过程,需要拍摄X-ray投影图像进行辅助引导,现阶段术中的X-ray投影图像是2D的,骨性结构敏感,图像中的软组织难以辨别,在某种程度上,术中2D X-ray投影图像仅起到目标定位引导作用,关于介入过程中避免触碰、损伤重要组织或器官,没有起到真正意义上的作用。但是,如果利用多模态影像引导,就可以游刃有余地解决术中一系列的问题,多模态图像之间的互相融合,相互作用形成信息互补,可规避诸多风险,提高手术效率,缩短病人术中承受痛苦的时间,其关键技术是配准算法。通过图像配准处理,可以把同一病人的术前和术中不同模态图像映射到统一的物理空间或坐标系统,要实现这一过程,需要进行CT和MRI多模态图像配准以及CT和X-ray图像3D-2D配准。在术后疗效评估中,可依赖CT和MRI的直观性进行评估。又如,X-ray、CT、MRI、超声等图像是属于解剖结构性成像,在许多临床应用领域,需要结合功能性成像,包括f MRI、PET、SPECT等功能影像,获取疾病的新陈代谢等功能信息,根据正常和异常组织之间的功能代谢信息的差异性,可准确判断病变区域和疾病所处的阶段性。医学图像分析与处理技术,主要包括图像分割、配准等,可以进行不同模态图像特征提取,数据集联,从而为临床应用提供有效的、可靠的疾病诊断、分析、量化评估的信息。影像引导中分割与配准算法一直以来都是影像引导治疗系统中的关键技术。在临床应用中,医学图像分割与配准主要用于疾病诊断与分析、术前规划、术中引导和术后疗效量化评估。例如,在影像引导放射治疗系统中,放疗计划制定过程,肿瘤靶区勾画工作占据了主要的工作量,高效、精准的分割方法无疑能提高工作效率,节省时间,及时执行治疗,缓解病人痛苦,早治疗早康复,放疗中的治疗前需要使用图像配准进行精确的摆位定位处理,放射治疗后的量化评估,需要使用配准技术把功能性影像融合一起进行评估。本文以影像引导的临床应用为背景,针对影像引导中分割与配准技术进行深入性研究,就新的成像模态——超声断层乳房图像,提出相关的分割算法;根据论文依托课题的研究内容,设计相关的分割与配准算法。本文的主要工作内容和创新性成果包括以下几方面:(1)基于3D Grab Cut的超声断层图像乳房分割方法研究及应用鉴于超声成像时效性高、安全、低成本等特性,超声影像广泛应用于多模态影像引导中,既可用于病理诊断和疾病筛查,又可用于介入手术引导。现阶段超声图像仍是以2D为主流,但2D超声图像中的组织缺乏空间结构信息,诊断和引导的视野有限,影响病理的准确判断和有效的手术引导过程,因此,3D超声成为应用的发展的主流。由Neb等人设计研发了超声断层成像设备,超声断层使用B型超声波的成像模式,利用多个B型超声探头组成环形阵列和三维重建技术生成3D超声断层图像,是一种新型的成像技术,可以成像完整的乳房,而乳房不发现变形,可应用于乳腺疾病诊断筛查。超声断层图像具有普通超声图像的一般特性,在乳腺病理诊断的临床应用中,需要提取出整个乳房区域和腺体进行量化分析,而单一阈值、区域生长与聚类的算法不能正确提取图像中的乳房区域,因此,研究了许多混合型分割算法,调研文献发现基于图切割算法的理论和性能合适处理超声断层图像。第一阶段设计了基于3D Grab Cut半自动的超声断层图像乳房区域分割算法,进行了30例超声断层图像实验测试,通过实验结果比较,结果表明,提出的算法具有良好的性能,分割结果的精度高,能满足临床要求的精度。同时,为下一步实现超声断层图像乳房的自动分割算法设计奠定了基础。(2)基于Grab Cut的超声断层图像乳房自动分割方法及应用在(1)的工作基础上,UST图像的临床应用正处于起步待发展阶段,关于UST图像处理的技术,也是处于探索时期,为了推动UST图像临床应用的进度,在前阶段的研究基础上,深入分析了UST图像本质特性,结合一系列图像处理技术和计算机图形学算法,设计了UST图像自动分割算法。算法细节是使用了图像去噪、增强、边缘检测的图像处理技术,结合了计算机图形学的凸包搜索算法和曲线拟合获取乳房的大致轮廓,进一步分析轮廓基准点,结合UST图像特性,把轮廓向外再延伸一定比例的距离,以完成Grab Cut不完全标定的初始化过程,从而实现基于Grab Cut超声断层图像乳房的自动分割。通过一系列的比较实验显示,提出的算法无论是分割结果精度还是算法性能都优胜于其他算法。随着该成像设备的改进更新,本文算法为进一步的超声断层图像中乳腺提取、结节、肿瘤分割等奠定了理论基础,将不断地推动超声断层图像用于临床的进程,逐渐成为女性乳腺癌筛查的首选影像。(3)基于深度卷积神经网络的脊椎图像分割方法及应用现阶段深度学习广泛用于医学图像分析,已取得了重大的突破,可以解决传统方法难以解决的问题。在医学图像分割方面,针对具体挑战性问题,许多文献提出了优秀的深度卷积神经网络架构,取得了令人瞩目的结果,未来将会出现更多优秀的网络架构。鉴于课题研究的临床背景,设计了基于U-net网络架构的深度卷积神经网络,用于分割CT图像中脊椎,网络训练的过程是训练与测试交叉进行,网络模型训练结束后,使用没有参与训练和测试的图像进行网络普适性验证,实验结果表明,一方面,该网络模型可以高效地分割图像中的脊椎,输出结果良好;另一方面,网络架构有待进一步完善,数据扩充方法需要进一步改进。(4)基于强度的腰椎CT与MRI多模态配准方法研究及应用在多模态影像引导脊椎微创手术的课题背景下,脊椎相关疾病的临床诊治需要多种模态图像的辅助,在术前疾病的诊断与分析、手术规划、穿刺路径规划与模拟以及术后的疗效评估等,都需要扫描脊椎CT和MRI。CT和MRI具有各自的特性,其中,CT在骨性结构上有独特的优点,而MRI对软组织敏感,图像中软组织解剖结构清晰,软组织之间对比度高,更有利于脊椎疾病的诊疗,它们之间存在信息的互补关系,为了让这种关系在实际临床发挥的作用最大化,这就需要CT和MRI多模态配准技术。课题要求是针对腰椎部位疾病处理,通过系统化分析,腰椎是由L1-L5的刚体性椎骨间于椎间盘和神经组成的非刚性组织。鉴于腰椎病人的特殊性,临床上扫描CT和MRI的FOV差异比较显著,而且覆盖范围设定,放射科医生是根据自身的临床经验确定。经过阅读大量关于CT和MRI多模态配准算法的文献,得知其对齐的目标都是完整的体位,而且是要么刚性,要么非刚性,经过系统化测试表明,这些基于强度或特征的多模态配准方法并不能解决此问题。因此,针对腰椎CT和MRI的特性,提出基于强度的多模态配准算法,该算法具有两个创新点,第一,采用多尺度刚性配准与层级的弹性配准相结合的策略,刚性配准解决全局的体位对齐,弹性配准是实现局部形变对齐;第二,弹性配准中,由于每节椎体是刚性的、不可变形的,所以,在形变网格中引入了扭曲能量惩罚,以防止椎体发生形变,使用局部约束采样策略,弥补互信息缺少空间信息的不足。实验证明,该算法可以有效对齐腰椎CT和MRI,解决了腰椎整体的非刚性问题,同时保护了椎体的刚体性质,经临床医生对配准精确度进行评定分析,结果表明,可满足一部分临床应用要求。(5)3D-2D图像配准方法的研究及应用在(4)的课题背景下,脊椎微创介入手术是基于术中2D X-ray投影图像引导的,图像配准是脊椎微创介入手术的关键技术之一,在这样的临床背景下,分别是以术前3D CT和术中2D X-ray投影图像为研究目标,深入研究了3D-2D图像配准算法。关于3D-2D图像配准,它本身就是一个病态问题,不能利用常规的配准思路去解决问题,中间存在一个维度转换过程,不同的转换过程,配准优化搜索过程截然不同。现阶段已有的3D-2D图像配准算法,通常借助各种初始定位设备,因此往往难以复现,难以在现配的临床环境上推广。但是,3D-2D图像配准技术具有非常重要的临床意义,特别在引导介入手术和放疗中应用甚广。经过系统地分析了现阶段许多优秀的算法理论,从3D-2D配准算法每个环节进行深度剖析,发现绝大多数算法在临床实践仍然存在各种缺陷,因此,提出一种基于X射线源初始定位和多目标分步式的3D-2D配准算法,优化过程应用了具有强大检索能力的模式搜索算法,采用分而治之的配准流程,更好解决配准过程易陷局部收敛问题,该算法具有两个创新点,第一,基于线下DRR图像集的X射线源的初始定位,这使得算法应用范围更广;第二,利用模式搜索中多目标网格自适应方向搜索算法,分步完成由粗略到精细配准过程。本文按照实际临床应用的术前和术中要求扫描实验数据,就是使用临床CT设备扫描模体术前的3D CT图像,在实验室搭建CBCT平台,拍摄术中2D X-ray投影图像。实验证明,在3D-2D配准的优化过程中,对于易出现Out-of-plane问题和陷入局部最优的现象,多目标优化策略可以很好地解决这些问题,分步式配准方案可以进一步抑制局部最小值,从而可有效地提升配准结果的精度;现阶段算法的主要不足之处是时效性有待进一步提升。