含噪标签下深度神经网络的优化研究

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:wangfang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来监督学习结合神经网络的方法被广泛地应用到各个领域。但是其表现效果极大地依赖于数据集的质量,而现有大规模数据收集方法存在不确定性,导致了实际生产生活中常见的数据集往往包含噪声标签。噪声标签的存在会造成模型复杂度的增加、分类精度的下降等负面影响。本文针对上述问题分别从数据过滤、模型构建、损失函数鲁棒性三个方面,结合深度学习技术进行了研究。本文提出了基于模型微调的含噪数据集加权校正训练方法。利用少量干净样本,评估已有深度学习模型对不同类别样本的分类准确程度,并以此为依据指导模型微调优化。使用加权校正训练方法在三层卷积神经网络、VGG16、ResNet50模型上执行分类任务,其效果增益为1%~8%,与加权校正流程中使用的样本规模相关。本文提出了基于二重区间内随机阈值的噪声标签过滤算法。依据深度学习中模型早期对干净样本学习能力较强的特点,利用损失函数值完成干净样本和噪声样本划分。通过多次随机阈值的划分方式模糊了阈值的界线,减少了单一固定阈值导致的不确定性。通过样本的损失值差异进行阈值区间的确定,相较人为指定的一重区间,二重区间的分类结果更具有稳定性和可靠性。实验结果表明,该方法在平均噪声率下相较一重区间内随机阈值和固定阈值的方法平均精确率提升1.5%~7.3%。本文提出了分段动态缩放损失函数。将深度学习模型鲁棒性的研究聚焦到损失函数本身的鲁棒性上,依据干净样本损失值与噪声样本损失值不同的特点,将损失值较小的样本看作疑似干净样本,损失值较大的样本看作疑似噪声样本。并针对损失值进行不同处理,具体来说,疑似干净样本损失值保留,疑似噪声样本损失值利用缩放因子进行缩减以减少噪声样本对模型训练的影响。同时,充分考虑在训练后期噪声样本的学习情况,动态调整该段损失值的缩放因子。实验结果表明,该方法在规模较小的深度神经网络,如三层卷积神经网络训练噪声率为0.3至0.5的数据集时表现最好,提升效果为0.16%~0.8%。最后,基于上述研究内容本文通过分析和实验研究了上述优化点的组合性能及适用场景。上述优化点组合在实验中均取得较好效果,当噪声率为0.6时模型分类准确率最高可提升17.06%。
其他文献
随着飞行自组织网络、短时突发通信、卫星通信等理论的进步和发展,广域捷变场景下节点间的通信日益受到关注。在此场景下,节点间载波同步的性能决定了系统的解调和译码准确率。然而,广域捷变场景下载波同步技术的实现面临信噪比低、载波频偏大、数据帧长度较短的挑战。本文对在低信噪比情况下,设计载波同步算法利用较小的导频开销提高频偏估计的范围和精度进行了深入研究,提出了面向此场景的频偏估计算法。本文的创新如下:针对