论文部分内容阅读
【摘要】：宫颈病变图像分类具有重要的临床应用价值。基于人工提取特征的分类算法，存在需要专业领域知识、耗时费力、提取高质量特征困难等问题。为此，采用一种改进的深度卷积神经网络模型，实现了宫颈病变图像的自动分类;同时，利用数据增强方法，有效避免了深度学习模型受样本量限制时易出现的过拟合问题。实验结果表明，该方法的识别率可达到89%，且具有较好的鲁棒性和泛化性。
【关键词】：宫颈病变图像分类 深度学习 卷积神经网络 数据增强
引言
在中国，宫颈癌是第二大高发癌症，但是宫颈癌可以通过早期的普查，予以预防和治疗，从而明显降低患病率和死亡率。而临床诊断的核心问题是诊断的假阳性率较高[1-3]，那么宫颈癌细胞的特征识别就成了问题的核心，如何识别更加有效的癌细胞特征，如何自动化的完成分类，是亟待解决的问题，本文探索了从宫颈癌细胞的获得，到细胞特征识别，并分类的全过程，并阐述基本原理。
1 方法
深度学习可看作是多层的人工神经网络【4】，通过构建含有多个隐层的神经网络模型，将低层特征通过逐层非线性特征组合变换，形成更加抽象的高层特征表达，以发现数据的分布式特征表示【5】。卷积神经网络作为最常使用的深度学习模型之一，以2D或3D图像直接作为网络的输入，避免了传统机器学习算法中复杂的特征提取过程，相比全连接的神经网络，其局部连接、权值共享和下采样的特性减少了网络参数的数量，降低了计算复杂度，同时对图像的平移、缩放、旋转等变化具有高度不变性。图1显示了深度卷积神经网络的特征学习过程，模型从原始图像仅能学习到一些边缘、纹理、颜色等低层特征，随着层数的加深，模型可以学习到更抽象的包含丰富语义信息的高层特征。
对比目前常用的深度卷积神经网络模型LeNet【6】、AlexNet【7】、VGG【8】等，选用ILSVRC14竞赛中获得冠军的GoogLeNet【9】作为本文模型的基础架构，该模型共计22层，主要包括输入层、2个普通卷积层、9个Inception层和若干池化层。其中，每个Inception层包含6个卷积层和1个池化层。包括Inception结构在内的所有卷积都使用ReLU函数。模型通过Inception结构，在增加网络宽度的同时，减少了参数的数量，降低了计算复杂度;通过在不同深度处增加两个loss来保证梯度回传的消失。
2深度卷积神经网络架构
2.1网络架构设计
本文采用LeNet的模型，如图1所示。
第一层，卷积层：这一层的输入就是原始的图像像素，LeNet-5模型接受的输入层大小为32*32*1。第一个卷积层过滤器的尺寸为5*5，深度为6，不使用全0填充，步长为1.因为没有使用全0填充，所以这一层的输出的尺寸为32-5+1=28，深度为6。这一个卷积层总共有5*5*1*6+6=156个参数，其中6个为偏置项参数。
第二层，池化层：这一层的输入为第一层的输出，是一个28*28*6的节点矩阵。本层采用的过滤器大小为2*2，长和宽的步长均为2，所以本层的输出矩阵大小为14*14*6。
第三层，卷积层：本层的输入矩阵大小为14*14*6，使用的过滤器大小为5*5，深度为16。本层不适用全0填充，步长为1。本层的输出矩阵大小为10*10*16。按照标准的卷积层，本层应该有5*5*6*16+16=2416个参数。
第四层，池化层：本层的输入矩阵大小为10*10*16，采用的过滤器大小为2*2，步长为2.本层的输出矩阵大小为5*5*16。
第五层，全连接层：本层的输入矩阵大小为5*5*16，在LeNet-5模型的论文中将这一层称为卷积层，但是因为过滤器的大小就是5*5，所以和全连接层没有区别。本层的输出节点个数为120，总共有5*5*16*120+120=48120个参数。
第六层，全连接层：本层的输入节点个数为120个，输出节点个数为84个，总共参数为120*84+84=10164个。
第七个，全连接层：本层的输入节点个数为84个，输出节点个数为10个，总共参数为84*10+10=850个。
2.2 Softmax分类器
Softmax分类器是除了SVM以外，另一种常见的线性分类器，它是Logistic回归推广到多类分类的形式。原始神经网络的输出被用作置信度来生成新的输出，而新的输出满足概率分布的所有要求。这个新的输出可以理解为经过神经网络的推导，一个样例为不同类别的概率分别是多大。
2.3 数据增强
Keras图片预处理工具提供了两个很強大的功能：图片增强功能和样本无线生成功能。所有的图片预处理工具都写在一个类ImageDataGenerator中，该类的主要功能的不断生成一个batch的图像数据，支持实时数据增强。数据增强包括均值化、白化样本图片，也包括对图片的旋转、平移、伸缩、翻转等变换。训练时该函数会无限生成数据，直到达到规定的epoch次数为止。
通过Keras图片增强功能，可以有效提高图片利用率，这在一定程度上提高了深度网络的性能，防止过拟合（同一张图片的不同变换保证了模型在更多情况下对该图片的拟合）。本文将图片旋转30°，水平偏移和竖直偏移的幅度都为0.1，剪切强度为0.2，缩放幅度为0.2，进行水平方向翻转，当进行变换时超出边界的点将根据nearest的方法进行处理。
3 实验及结果分析
3.1 数据集
本文采用的实验数据来自合作医院泉州妇幼保健医院提供的470例宫颈病变图像，其中阳性400例阴性（炎症）70例， 包括CIN1总2162张图片，CIN2总1135张图片，CIN3总878张图片，normal总325张图片，总图片数4500张。 3.2 训练策略
增强前和增强后的数据集均被随机分成三部分：训练集50%、验证集25%和测试集25%。其中，训练集用于模型训练和参数学习;验证集用于优化模型，在训练过程中对模型进行测试，根据测试结果自动微调参数;测试集用于测试模型的识别和泛化能力。为保证模型对未知数据的泛化能力，数据集之间互不交叉。
3.3 实验工具
本文模型在ASUS，Intel i7 CPU，NVIDIA GTX 1081Ti GPU上训练，使用keras框架，数据增强算法由keras的ImageDataGenerator实现。
3.4 实验结果及分析
从实验结果图2、图三训练效果看来，准确率在89%左右，效果不错了。
4 结束语
本文研究了利用深度学习方法实现宫颈病变图像的分类。采用的深度卷积神经网络模型具有更深、更复杂的结构，而参数更少，准确率更高，避免了人工提取特征的复杂性和局限性。采用的数据增强方法有效避免了深度学习算法在样本量不足时易出现的过拟合问题，实验证明本文方法提高了识别率，具有较好的鲁棒性和泛化性，在一定程度上满足了更高要求的临床需求。
【参考文献】：
【1】 潘晨，闫相国，郑崇勋等.利用单类支持向量机分割血细胞图像[J].西安交通大学学报，2005，39（2）：150-153.
【2】 窦智宙，平子良，冯文兵等.多分类支持向量机分割彩色癌细胞图像[J].计算机工程与应用，2009，45（20）：236-239.
【3】 王卫星，苏培垠.基于颜色、梯度矢量流活动轮廓及支持向量机实现白细胞的提取和分类[J].光学精密工程，2012，20（12）：2781-2790.
【4】 Shen D，Wu G，Suk H I.Deep learning in medical image analysis[J].Annual Review of Biomedical Engi- neering，2017，19（1）.
【5】 Bengio Y，Delalleau O.On the expressive power of deep architectures[C]//International Conference on Algorithmic Learning Theory.Berlin Heidelberg：Springer，2011：18-36.
【6】 LeCun Y，Bottou L，Bengio Y，et al.Gradient-based learn-ing applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.
【7】 Krizhevsky A，Sutskever I，Hinton G E.Imagenet classi-fication with deep convolutional neural networks[C]// Advances in Neural Information Processing Systems，2012：1097-1105.
【8】 Simonyan K，Zisserman A.Very deep convolutional net-works for large- scale image recognition[J].arXiv preprint arXiv：1409.1556，2014.
【9】 Szegedy C，Liu W，Jia Y，et al.Going deeper with con-volutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.
作者简介：宋丹（1994—），女，汉族，山西大同市人，硕士研究生，单位：华侨大学工学院计算机专业，研究方向：深度学习。
張育钊（1963—），男，汉族，福建泉州市人，副教授，单位：华侨大学工学院，研究方向：电子信息、通信、自动控制、计算机采集控制。
【关键词】：宫颈病变图像分类 深度学习 卷积神经网络 数据增强
引言
在中国，宫颈癌是第二大高发癌症，但是宫颈癌可以通过早期的普查，予以预防和治疗，从而明显降低患病率和死亡率。而临床诊断的核心问题是诊断的假阳性率较高[1-3]，那么宫颈癌细胞的特征识别就成了问题的核心，如何识别更加有效的癌细胞特征，如何自动化的完成分类，是亟待解决的问题，本文探索了从宫颈癌细胞的获得，到细胞特征识别，并分类的全过程，并阐述基本原理。
1 方法
深度学习可看作是多层的人工神经网络【4】，通过构建含有多个隐层的神经网络模型，将低层特征通过逐层非线性特征组合变换，形成更加抽象的高层特征表达，以发现数据的分布式特征表示【5】。卷积神经网络作为最常使用的深度学习模型之一，以2D或3D图像直接作为网络的输入，避免了传统机器学习算法中复杂的特征提取过程，相比全连接的神经网络，其局部连接、权值共享和下采样的特性减少了网络参数的数量，降低了计算复杂度，同时对图像的平移、缩放、旋转等变化具有高度不变性。图1显示了深度卷积神经网络的特征学习过程，模型从原始图像仅能学习到一些边缘、纹理、颜色等低层特征，随着层数的加深，模型可以学习到更抽象的包含丰富语义信息的高层特征。
对比目前常用的深度卷积神经网络模型LeNet【6】、AlexNet【7】、VGG【8】等，选用ILSVRC14竞赛中获得冠军的GoogLeNet【9】作为本文模型的基础架构，该模型共计22层，主要包括输入层、2个普通卷积层、9个Inception层和若干池化层。其中，每个Inception层包含6个卷积层和1个池化层。包括Inception结构在内的所有卷积都使用ReLU函数。模型通过Inception结构，在增加网络宽度的同时，减少了参数的数量，降低了计算复杂度;通过在不同深度处增加两个loss来保证梯度回传的消失。
2深度卷积神经网络架构
2.1网络架构设计
本文采用LeNet的模型，如图1所示。
第一层，卷积层：这一层的输入就是原始的图像像素，LeNet-5模型接受的输入层大小为32*32*1。第一个卷积层过滤器的尺寸为5*5，深度为6，不使用全0填充，步长为1.因为没有使用全0填充，所以这一层的输出的尺寸为32-5+1=28，深度为6。这一个卷积层总共有5*5*1*6+6=156个参数，其中6个为偏置项参数。
第二层，池化层：这一层的输入为第一层的输出，是一个28*28*6的节点矩阵。本层采用的过滤器大小为2*2，长和宽的步长均为2，所以本层的输出矩阵大小为14*14*6。
第三层，卷积层：本层的输入矩阵大小为14*14*6，使用的过滤器大小为5*5，深度为16。本层不适用全0填充，步长为1。本层的输出矩阵大小为10*10*16。按照标准的卷积层，本层应该有5*5*6*16+16=2416个参数。
第四层，池化层：本层的输入矩阵大小为10*10*16，采用的过滤器大小为2*2，步长为2.本层的输出矩阵大小为5*5*16。
第五层，全连接层：本层的输入矩阵大小为5*5*16，在LeNet-5模型的论文中将这一层称为卷积层，但是因为过滤器的大小就是5*5，所以和全连接层没有区别。本层的输出节点个数为120，总共有5*5*16*120+120=48120个参数。
第六层，全连接层：本层的输入节点个数为120个，输出节点个数为84个，总共参数为120*84+84=10164个。
第七个，全连接层：本层的输入节点个数为84个，输出节点个数为10个，总共参数为84*10+10=850个。
2.2 Softmax分类器
Softmax分类器是除了SVM以外，另一种常见的线性分类器，它是Logistic回归推广到多类分类的形式。原始神经网络的输出被用作置信度来生成新的输出，而新的输出满足概率分布的所有要求。这个新的输出可以理解为经过神经网络的推导，一个样例为不同类别的概率分别是多大。
2.3 数据增强
Keras图片预处理工具提供了两个很強大的功能：图片增强功能和样本无线生成功能。所有的图片预处理工具都写在一个类ImageDataGenerator中，该类的主要功能的不断生成一个batch的图像数据，支持实时数据增强。数据增强包括均值化、白化样本图片，也包括对图片的旋转、平移、伸缩、翻转等变换。训练时该函数会无限生成数据，直到达到规定的epoch次数为止。
通过Keras图片增强功能，可以有效提高图片利用率，这在一定程度上提高了深度网络的性能，防止过拟合（同一张图片的不同变换保证了模型在更多情况下对该图片的拟合）。本文将图片旋转30°，水平偏移和竖直偏移的幅度都为0.1，剪切强度为0.2，缩放幅度为0.2，进行水平方向翻转，当进行变换时超出边界的点将根据nearest的方法进行处理。
3 实验及结果分析
3.1 数据集
本文采用的实验数据来自合作医院泉州妇幼保健医院提供的470例宫颈病变图像，其中阳性400例阴性（炎症）70例， 包括CIN1总2162张图片，CIN2总1135张图片，CIN3总878张图片，normal总325张图片，总图片数4500张。 3.2 训练策略
增强前和增强后的数据集均被随机分成三部分：训练集50%、验证集25%和测试集25%。其中，训练集用于模型训练和参数学习;验证集用于优化模型，在训练过程中对模型进行测试，根据测试结果自动微调参数;测试集用于测试模型的识别和泛化能力。为保证模型对未知数据的泛化能力，数据集之间互不交叉。
3.3 实验工具
本文模型在ASUS，Intel i7 CPU，NVIDIA GTX 1081Ti GPU上训练，使用keras框架，数据增强算法由keras的ImageDataGenerator实现。
3.4 实验结果及分析
从实验结果图2、图三训练效果看来，准确率在89%左右，效果不错了。
4 结束语
本文研究了利用深度学习方法实现宫颈病变图像的分类。采用的深度卷积神经网络模型具有更深、更复杂的结构，而参数更少，准确率更高，避免了人工提取特征的复杂性和局限性。采用的数据增强方法有效避免了深度学习算法在样本量不足时易出现的过拟合问题，实验证明本文方法提高了识别率，具有较好的鲁棒性和泛化性，在一定程度上满足了更高要求的临床需求。
【参考文献】：
【1】 潘晨，闫相国，郑崇勋等.利用单类支持向量机分割血细胞图像[J].西安交通大学学报，2005，39（2）：150-153.
【2】 窦智宙，平子良，冯文兵等.多分类支持向量机分割彩色癌细胞图像[J].计算机工程与应用，2009，45（20）：236-239.
【3】 王卫星，苏培垠.基于颜色、梯度矢量流活动轮廓及支持向量机实现白细胞的提取和分类[J].光学精密工程，2012，20（12）：2781-2790.
【4】 Shen D，Wu G，Suk H I.Deep learning in medical image analysis[J].Annual Review of Biomedical Engi- neering，2017，19（1）.
【5】 Bengio Y，Delalleau O.On the expressive power of deep architectures[C]//International Conference on Algorithmic Learning Theory.Berlin Heidelberg：Springer，2011：18-36.
【6】 LeCun Y，Bottou L，Bengio Y，et al.Gradient-based learn-ing applied to document recognition[J].Proceedings of the IEEE，1998，86（11）：2278-2324.
【7】 Krizhevsky A，Sutskever I，Hinton G E.Imagenet classi-fication with deep convolutional neural networks[C]// Advances in Neural Information Processing Systems，2012：1097-1105.
【8】 Simonyan K，Zisserman A.Very deep convolutional net-works for large- scale image recognition[J].arXiv preprint arXiv：1409.1556，2014.
【9】 Szegedy C，Liu W，Jia Y，et al.Going deeper with con-volutions[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2015：1-9.
作者简介：宋丹（1994—），女，汉族，山西大同市人，硕士研究生，单位：华侨大学工学院计算机专业，研究方向：深度学习。
張育钊（1963—），男，汉族，福建泉州市人，副教授，单位：华侨大学工学院，研究方向：电子信息、通信、自动控制、计算机采集控制。