论文部分内容阅读
明确肺结节的良恶性病理类型,对制定精准有效的诊疗方案至关重要。基于深度学习的辅助诊断方法可以减少对医生个体经验和工作状态的依赖,提升诊断效率。然而,现有的公开数据集中鲜有经病理学确认的肺部CT影像数据,无法保证样本标注的准确性和可信度。为更好满足临床需求,依据本课题组从合作医院、研究所采集的经金标准确认的肺部CT影像数据,开展了基于3D多分辨注意力胶囊网络的肺结节良恶性多种病理类型辅助诊断方法研究。
根据肺结节良恶性多种病理类型辅助诊断方法的需要和深度学习方法性能的分析,选择较卷积神经网络更具优势的胶囊网络作为构建辅助诊断模型的基础架构,分别从网络结构和动态路由算法两个方面对经典的胶囊网络模型进行了改进。在网络结构的改进设计中,为了充分提取、学习肺结节在三维空间中的形态特征和层级信息,同时适应CT影像数据的维度,在2D胶囊网络结构的基础上,设计了三种3D输入情形下的3D胶囊网络结构。在动态路由算法的改进设计中,针对原始动态路由算法中的对数先验概率更新规则不能对更新增量的幅度进行限制,容易导致向量神经元长期陷入失活状态的问题,提出了一种以预测向量和迭代输出的向量神经元之间的余弦相似度作为对数先验概率的更新增量,来保证更新幅度受限的解决方案。通过对训练过程中的参数变化进行可视化跟踪,验证了原始动态路由算法引发的大量向量神经元失活的现象,以及改进动态路由算法的有效性。与AlexNet、ResNet-18、ResNet-50等经典深度学习模型以及结合影像特征和血清生物标志物的多模态融合模型的对比,验证了采用改进动态路由算法构建的3D胶囊网络(3D Capsule Network with Improved Dynamic Routing Algorithm,3D CapsNet-IDRA)辅助诊断模型的有效性。
在构建的3D胶囊网络辅助诊断模型的基础上,针对所采用的多分辨方法引入的插值扰动对多输入、单输入辅助诊断模型分类性能的影响问题,提出了分别用于抑制和强化扰动信息的跨路径多分辨注意力机制。这两种类型的机制是以真实分辨率输入所在路径的特征图为基准,衡量其他路径对应位置上的特征图与其的偏差,然后用于特征图中各元素在空间范围内软性注意力分布的计算,再以叠加倍增系数的形式施加影响。如此,在3DCapsNets-IDRA的基础上嵌入多分辨注意力模块,构建了多输入的3D多分辨注意力胶囊网络(3D Multi-Resolution Attention Capsule Network, 3D MRA-CapsNet)。通过分别对3DMRA-CapsNets和3DCapsNets-IDRA的对比分析,展示了多分辨方法引入的插值扰动对多输入、单输入模型分类性能的不同影响。同样,与经典深度学习模型和多模态融合模型的对比,进一步验证了基于3DMRA-CapsNet的辅助诊断模型的良好性能,且其性能更优于3DCapsNet-IDRA。
根据肺结节良恶性多种病理类型辅助诊断方法的需要和深度学习方法性能的分析,选择较卷积神经网络更具优势的胶囊网络作为构建辅助诊断模型的基础架构,分别从网络结构和动态路由算法两个方面对经典的胶囊网络模型进行了改进。在网络结构的改进设计中,为了充分提取、学习肺结节在三维空间中的形态特征和层级信息,同时适应CT影像数据的维度,在2D胶囊网络结构的基础上,设计了三种3D输入情形下的3D胶囊网络结构。在动态路由算法的改进设计中,针对原始动态路由算法中的对数先验概率更新规则不能对更新增量的幅度进行限制,容易导致向量神经元长期陷入失活状态的问题,提出了一种以预测向量和迭代输出的向量神经元之间的余弦相似度作为对数先验概率的更新增量,来保证更新幅度受限的解决方案。通过对训练过程中的参数变化进行可视化跟踪,验证了原始动态路由算法引发的大量向量神经元失活的现象,以及改进动态路由算法的有效性。与AlexNet、ResNet-18、ResNet-50等经典深度学习模型以及结合影像特征和血清生物标志物的多模态融合模型的对比,验证了采用改进动态路由算法构建的3D胶囊网络(3D Capsule Network with Improved Dynamic Routing Algorithm,3D CapsNet-IDRA)辅助诊断模型的有效性。
在构建的3D胶囊网络辅助诊断模型的基础上,针对所采用的多分辨方法引入的插值扰动对多输入、单输入辅助诊断模型分类性能的影响问题,提出了分别用于抑制和强化扰动信息的跨路径多分辨注意力机制。这两种类型的机制是以真实分辨率输入所在路径的特征图为基准,衡量其他路径对应位置上的特征图与其的偏差,然后用于特征图中各元素在空间范围内软性注意力分布的计算,再以叠加倍增系数的形式施加影响。如此,在3DCapsNets-IDRA的基础上嵌入多分辨注意力模块,构建了多输入的3D多分辨注意力胶囊网络(3D Multi-Resolution Attention Capsule Network, 3D MRA-CapsNet)。通过分别对3DMRA-CapsNets和3DCapsNets-IDRA的对比分析,展示了多分辨方法引入的插值扰动对多输入、单输入模型分类性能的不同影响。同样,与经典深度学习模型和多模态融合模型的对比,进一步验证了基于3DMRA-CapsNet的辅助诊断模型的良好性能,且其性能更优于3DCapsNet-IDRA。