论文部分内容阅读
无线胶囊内镜(Wireless Capsule Endoscopy,WCE)是自视频内镜取代光纤内镜以来最重要的内镜创新。由于其具有诸多优点,特别是无痛和无创检查,无线胶囊内镜已成为用于诊断和评估小肠疾病的首选方法。然而,伴随着该项先进技术,仍有诸多挑战需要解决。一个主要问题是,在一次的病人检查中,WCE将为整个消化道生成大量具有高相似度的WCE图像,然而仅有很小一部分的图像数据对诊断是有用的。这对于一个经验丰富的临床医生来说,手动查阅这些WCE视频帧是费时的和困难的,并且可能还会遗漏某些重要的异常信息。另外一个主要问题是,尽管自2001年WCE被批准进入临床以来,用于分类异常图像和节约医生查看时间的方法被提出以提高WCE疾病的诊断率。然而在涉及WCE病变区域检测方面的工作,还鲜有文献报道,特别是采用深度学习技术的文献报道更少。此外,在实际的临床实践上,医生总是想要确认由计算机技术产生的检测结果,而不愿承担任何在WCE检查中遗漏重要内容的风险。这对计算机技术的有效性和可靠性提出了更高的期望。这些问题激发我们去探索、实验和开发新的、可靠的计算机辅助诊断方法以便提供安全有效的检查结果,帮助临床医生尽快发现问题图像,实现减少查阅图像工作量,提高工作效率的目的。为此,从WCE视频图像异常模式检测和冗余去除两个任务方面,基于深度学习技术开展了如下三个主要的研究工作。(1)深度卷积神经网络用于WCE图像异常模式检测。本工作尝试使用卷积神经网络来实现WCE病变区域的检测任务。为此,从CNN网络结构、区域建议和迁移学习等方面采用了多种方法来提高模型的异常模式检测性能。首先,提出了一个深度级联网络模型(Cascade Proposal),该模型由一个区域建议拒绝模块和一个检测模块组成;其次,使用多区域组合方法产生良好的区域建议覆盖;再者,使用密集区域融合方法对目标边界进行细化和使用显著区域分割获取准确的区域位置;最后,引入负样本类和迁移学习策略提高模型泛化性能。在训练阶段,使用由多区域组合方法生成的区域建议以端到端的方式训练所提出的深度级联网络,以便生成少数量的具有高召回率的区域建议,并使用了负样本类和迁移学习策略,以便加速模型训练过程和提高模型泛化能力。在测试阶段,使用密集区域融合和显著区域分割方法提高检测精度。在我们的包含有7,000多已标注的WCE2017图像数据集上全面评测了所提出的模型和方法。实验结果表明,方法对WCE异常模式检测是有效的并且能够获得较高的定位精度。(2)基于对抗学习的无监督WCE视频摘要。本工作考虑无监督的WCE视频摘要,将其作为一种序列到序列的学习问题。其关键思想是学习一种深度摘要网络,以一种无监督的形式最小化训练视频和其摘要之间的信息损失。为此,提出了一种混合且有效的无监督WCE视频摘要方法,该方法基于长短时记忆网络LSTM、变分自编码器、指针网络、生成对抗网络以及去冗余机制等技术。所提出模型称为Adv-Ptr-Der-SUM,采用了生成对抗学习框架,由摘要器和鉴别器组成。摘要器采用了基于变分自编码器的LSTM网络结构,结合了指针网络和去冗余机制,其主要目标是学习输出序列的条件概率并提供一个紧凑摘要。鉴别器是另外一个LSTM网络,其目的是区分原始视频以及来自摘要器的重构视频。摘要器和鉴别器以对抗的形式训练以便优化摘要器并生成最优的WCE视频摘要。在我们的WCE-2019-Video视频数据集上,全面地评测了所提出的方法。广泛的实验结果表明,方法在有监督和无监督的条件下,与其他的摘要方法相比都具有竞争性,或者表现更好。此外,所提的方法被应用于两个公开的多媒体基准数据集:Sum Me和TVSum,验证了方法的有效性和一般性,表明了该方法能够获得一个具有竞争力的结果。(3)基于对应匹配和运动分析的WCE视频序列去冗余。本工作提出一种去冗余方案(SS-VCF-Der)。该方案考虑将两个连续WCE帧间的流场估计应用于WCE成像运动分析,然后根据运动分析的结果处理WCE去冗余问题。为此,首先提出一种自监督技术,在没有人工监督的情况下,从大量原始的WCE视频中学习帧间视觉对应表示,然后预测流场。其核心思想是利用WCE视频中颜色的自然时空相干性和时间的循环一致性作为监督信号,从零开始学习WCE视觉对应关系。这个过程称为自监督的视觉对应流学习(SS-VCF)。在训练阶段,使用三种损失:前后循环一致性损失、视觉相似性损失和颜色损失来训练和优化模型。在测试阶段,使用获得的表示在两个连续的WCE帧间生成一个流场来分析帧间像素移动。此外,根据得到的流场估计,计算两个连续帧间运动场的运动强度作为提取的运动特征,并使用所提出去冗余方法(SS-VCF-MI),选择一些局部邻域场景变化明显的帧作为关键帧,从而实现去冗余的目的。在我们的WCE-2019-Video视频数据集上,全面地评测了所提出的方法。大量实验结果表明,模型和去冗余方法能够取得很好的结果,验证了整个去冗余方案的有效性,包括模型在WCE视频的视觉对应表示方面和去冗余方法在WCE视频去冗余方面的有效性。