论文部分内容阅读
肺炎是世界各地儿童和老年人死亡的主要原因之一。全球超过15%的死亡是由肺炎引起的,其中包括5岁以下儿童。肺炎是一种细菌、病毒或真菌引起的肺部的感染,导致肺部出现炎症,引起肺泡充满脓等液体。如果不及时诊断,可能危及生命。胸透是世界范围内重要的肺炎诊断方法。然而,需要有知识和经验的专家来仔细阅读胸部X射线图像。胸部X射线图像作为检测肺炎等胸部疾病的重要依据,但因为胸部其他几种疾病如肺癌、肺部液体过多等也会在图像上显示出类似肺炎的视觉信号,从而导致通过人工读取胸部X射线图像来检测肺炎的过程可能会很耗时,而且准确性较低。因而为了更好的辅助放射科医生读取胸部X射线图像,开发一个自动检测肺炎的模型是十分有意义的。目前,肺炎检测模型面临两个问题:其一,胸片中肺炎的检测不同于传统的目标检测,传统的目标检测中目标的特征十分明显,而胸片中肺炎的视觉信号的特征不明显;其二,对于肺炎的检测而言,不仅需要观察胸片,还要询问病人的临床史。这些问题给肺炎的检测带来了一定的困难。近期,随着人工智能的发展,深度学习在医学图像上的应用表现出极大的优势。随着深度学习在目标检测上不断的发展和高性能的实现,深度学习可以更好地解决肺炎检测问题。深度卷积神经网络在目标检测上取得了极大的成功。基于深度学习的优势,本文将深度卷积神经网络应用到肺炎检测上,主要研究工作如下:(1)研究了肺炎检测面临的主要问题。其一,胸部X射线图像的目标区域的特征不明显,肺部的其他疾病的视觉信号和肺炎的视觉信号很相似,传统的图像目标检测方法很难检测到肺炎区域。其二肺炎的目标区域较小,将给检测带来了困难。其三,绝大多数的肺炎数据集是一个正负样本不均衡的数据集,尽管总的数据量很多,但是存在价值的数据相对有限。(2)针对问题(1)中提到的问题,本文将深度卷积神经网络RetinaNet应用于肺炎检测的研究工作当中。研究了基于ResNet-50和ResNet-101两个不同特征提取网络下肺炎检测模型的融合。由于大多数肺炎的位置相对较小,为了提高目标位置的检测精确度,本文在RetinaNet网络的基础上,对网络结构进行了一定的修改,使用了更深层的FPN网络,分别建立了基于ResNet-50和ResNet-101两个不同的特征提取网络的肺炎检测模型,之后将两种不同特征提取网络下得到的RetinaNet模型进行融合,实验结果显示,融合之后的模型mAP和Recall指标分别达到了0.2196、0.796的效果,分别高于单模型的检测效果,比基于ResNet-50的模型高出0.0259和0.017,比基于ResNet-101的模型高出0.037和0.031。(3)研究了基于融合的Mask R-CNN肺炎检测模型,以ResNet-50和ResNet-101两个不同特征提取网络下肺炎检测模型的融合。Mask R-CNN是为解决实例分割问题而开发的一种深度神经网络。鉴于其在目标检测分割方面的优势。本文在Mask R-CNN网络的基础上,仍然使用了ResNet-50和ResNet-101两种不同的特征提取网络以及更深层的FPN网络,之后将两种不同特征提取网络下得到的Mask R-CNN模型进行融合,融合之后的mAP和Recall达到了0.2102、0.760的效果,相比于Mask R-CNN本身均有所提高。比基于ResNet-50的模型高出0.0162和0.004,比基于ResNet-101的模型高出0.02和0.015。通过研究内容(2)和(3),可以看出本文提出的基于ResNet-50和ResNet-101两个不同特征提取网络下肺炎检测模型的融合在肺炎检测上的效果上有明显的提高,这是因为以置信度作为权重的边界框调整策略有助于提高肺炎检测的效果。(4)提出了一种基于RetinaNet和Mask R-CNN融合的肺炎检测模型。该模型融合了两个不同网络的肺炎检测模型,按照置信度作为权重以加权平均的方式将两个不同的肺炎检测模型融合,由于单模型中RetinaNet的表现最好,以RetinaNet肺炎检测模型作为主要的检测模型,Mask R-CNN肺炎检测模型作为辅助的肺炎检测模型,对RetinaNet肺炎检测模型的预测进行修正。实验结果表明,两个不同网络模型融合之后的肺炎检测效果在测试集上mAP和Recall的表现达到了0.2283和0.813的优异效果,均高于单模型以及单模型融合的方法。(5)为了进一步说明本文提出的算法的可靠性,与经典的Faster R-CNN网络以及YOLOv3等算法进行了比较。在测试集上的mAP和Recall的表现分别为0.1573、0.618和0.1647、0.703,我们在Faster R-CNN和YOLOv3网络结构上做了改进,但由于数据的分布不均以及目标区域较小等问题导致检测效果远低于上面几种方法。由此可见,本文提出的基于RetinaNet和Mask R-CNN融合的肺炎检测模型算法更可靠,检测效果更好。