近年来,深度学习作为统计机器学习中的热门方法,在各个领域和应用中取得了非常不错的效果,然而深度学习算法和模型却容易受到对抗样本的攻击,使得其应用在自动驾驶、人脸识别、智能安防等对安全需求非常高的场景中可能会造成巨大风险和损失。特别是随着摄像头、智能门铃等边缘智能设备的普及,急需将深度学习模型进行压缩部署在这些设备中。截至目前,对抗训练被认为是抵御对抗样本、增强模型鲁棒性的最有效方法,但是现有的研究表明深度学习模型的鲁棒性很大程度取决于模型的大小和容量,部署在边缘设备的小容量模型鲁棒性则非常欠缺。针对上述问题,本文的研究工作和成果如下:（1）为了提高轻量级网络的鲁棒性,提出了一种基于鲁棒软标签的鲁棒蒸馏方法,通过筛选出那些富含鲁棒信息的软标签用于参与模型的训练。在CIFAR-10和CIFAR-100数据集上的实验结果表明,此方法在鲁棒精度上都超过了传统的对抗训练以及鲁棒蒸馏方法,且只牺牲很小的干净精度。（2）为了进一步将模型部署在资源受限的端侧设备上,需要将模型进一步压缩且要保证模型的鲁棒性。我们提出了剪枝和鲁棒蒸馏的联合框架,通过各层输出的软标签的信息来指导各层剪枝的比例,同时在训练过程中尽可能得到对鲁棒性有益的模型结构,此方法采用迭代的方式实现。在CIFAR-10和CIFAR-100数据集上的实验结果表明,相比于其他剪枝方法而言,我们得到的结构在经过同样的TRADES对抗训练后能达到更好的鲁棒性;同时剪枝和鲁棒蒸馏的联合框架使得在不同FLOPs的压缩预算下,比单纯的鲁棒蒸馏方法来说更具优势。尤其是在压缩率较高的情况下,模型的鲁棒性更好。本文的主要研究内容是深度学习背景下的轻量级网络鲁棒蒸馏和剪枝策略,为鲁棒模型在现实场景下的落地提供支持。同时,本文的方法在未来还可结合量化等技术,在保证模型高鲁棒性的同时,进一步压缩模型、提高在下游视觉任务中的推理速度。