肾结石是人体泌尿系统的一种常见疾病,2017年发表在英国国际泌尿学杂志上的研究表明,中国成人大约每17个中有1人患有肾结石。输尿管镜碎石术是一种微创的内窥镜检查术,术中输尿管镜通过人体泌尿系统自然腔道进入肾脏进行取石或碎石。该手术的术后并发症小,是肾结石治疗的主要手段之一,尤其是大结石治疗的首选方案。传统的输尿管镜碎石术,医生先通过术前CT(电子计算机断层扫描,Computed Tomography)等影像查看结石位置和肾体结构,然后在术中仅靠自己的经验和手术内镜视频图像感知当前的手术位置,找到并去除结石。由于肾脏内部分支较多,在手术寻找结石过程中,定位结石和确认所有分支都已被寻找过有一定的难度,对医生的经验要求较高,还可能存在结石遗漏的情况。因此,通过手术引导技术对输尿管镜位置进行定位,从而辅助医生进行取石、碎石手术,具有十分重要的价值。目前,将术前CT图像和术中视频图像进行信息融合成为了一种实现手术引导的主要解决方案。融合术前CT图像和术中视频信息进行手术引导,关键在于术前CT图像与术中视频图像的匹配。在内窥镜手术引导领域,术前CT图像与术中视频的匹配方法有基于2D-2D的图像匹配和基于3D-3D的点云匹配。传统2D-2D的匹配方法需要根据图像的所有像素信息进行全局匹配,计算量较大,难以达到实时性要求;3D-3D的匹配方法要求视频图像能提取到丰富的有效特征点匹配对,然而输尿管镜图像中存在浑浊液体、气泡、絮状物以及粉碎后的结石等干扰物,图像质量不高,难以满足3D-3D匹配方法的要求。围绕输尿管镜手术引导问题,针对输尿管镜肾内检查中关键解剖位置的术前CT图像和术中视频的匹配,本文提出了一种基于深度图的术前CT图像和术中内镜视频图像的匹配方法,主要研究内容如下:(1)基于CT图像序列的虚拟内镜风格图像深度图估计。由于深度图可以反映图像场景空间结构,本文将深度图作为连接CT图像和视频图像的桥梁,研究实现两者之间的匹配。为此,首先需要建立虚拟内镜风格图像到深度图的映射。本文基于CT图像序列构建了虚拟内镜图像到深度图像的RGB-D(Depth)映射数据集,使用深度学习方法训练深度估计模型,得到了可用于估计虚拟内镜风格图像对应深度图的深度估计模型。(2)基于风格迁移的输尿管镜视频图像深度图估计。由于输尿管镜视频图像难以获得真实的深度信息,本文将输尿管镜视频图像通过风格迁移的方法转换成虚拟内镜风格的图像,并基于RGB-D映射数据集训练所得的上述深度估计模型,获得了输尿管镜视频图像对应的深度估计图。(3)基于图像高级语义特征的深度图匹配方法。即使将虚拟内镜图像和输尿管镜视频图像转换成了深度图,要进行基于图像像素信息的全局匹配,计算量依然较大。因此,本文利用自编码模型提取出图像的高级语义特征,实现将二维深度图映射为一维特征向量,从而基于特征向量实现术前CT图像和术中视频图像所对应深度图之间的快速匹配。本文基于输尿管镜手术数据对上述基于深度图的术前CT与术中视频图像(CT-Video)的匹配方法进行了实验评估,实验结果表明,在虚拟内镜风格图像的深度估计方面,深度估计准确度达到了 94.1%;在基于风格迁移的视频图像深度估计中,输尿管镜经过风格迁移后的图像能够与虚拟内镜图像在深度学习特征上分布趋同,从而有效实现输尿管镜视频图像的深度预测;在基于深度图的CT-Video匹配中,通过与传统方法进行对比,在Top-1准确度上本文的方法与传统方法性能基本一致,在Top-10准确度上本文的方法提高了 26%,此外,本文的方法在匹配速度上相对传统方法提升了 5倍左右。