论文部分内容阅读
卷积神经网络可以高效地实现图片分类,可用于工业产品的缺陷检测、医学诊断等领域,对整个社会的发展具有重要的作用。传统的卷积神经网络设计主要靠人工设计,然而人工设计卷积神经网络需要丰富的经验以及大量的时间,用网络模型搜索方法代替传统的卷积神经网络设计可以有效弥补上述不足。另外,存储空间小、计算能力低的嵌入式处理器在工业领域中有广泛的应用。然而目前大部分网络模型搜索方法存在对计算资源要求高、搜索出的网络模型大、计算量高等问题。针对这些问题,本文提出了基于QUATRE算法的多目标卷积神经网络模型搜索方法(SNQ-Net)。SNQ-Net搜索方法把搜索计算量小、准确率高的卷积神经网络模型看成一个多目标优化问题。为了搜索到计算量小、准确率高的卷积神经网络模型,SNQ-Net搜索方法的搜索策略采用改进的二元多目标QUATRE优化算法,二元多目标QUATRE优化算法利用自适应翻转矩阵对全局最优种群进行翻转,并交替地使用准确度全局最优种群和计算量全局最优种群进行种群的进化,使得二元QUATRE算法能够有效地平衡探索和利用、搜索出目标网络模型;为了减少搜索过程对计算资源的要求,SNQ-Net搜索方法的评估策略采用提出的基于网络相对性能预测的评估策略,基于网络相对性能预测的评估策略对二个网络的相对性能进行预测,通过统计网络的相对性能对所有预测的网络模型进行性能排序,挑选出性能排序靠前的网络进行训练,避免对大量性能低的网络模型进行训练;为了避免对相同结构的网络模型重复训练,进一步降低对计算资源的要求,SNQ-Net搜索方法采用了提出的基于节点出入度的编码去重算法进行编码去重,基于节点出入度的编码去重算法根据网络模型的编码求出网络模型中所有节点的出入度,对求出的出入度序列进行排序,通过查看排序后的出入度序列是否在字典树中来判断编码对应网络模型是否被训练。实验使用了CIFAR-10数据集,实验结果表明,和其它的搜索方法相比,SNQ-Net搜索方法减少了95.6%的网络的训练,整个搜索过程只花费了0.8个GPU天,且搜索出来的卷积神经网络模型的参数数量为2.7M、FLOPS值为1024M,小于大部分其它对比的卷积神经网络,在CIFAR-10测试集上的准确度到达了95.72%,超过了大部分其它对比的搜索方法搜索出来的卷积神经网络。