论文部分内容阅读
在大数据的推动下,深度学习在各个领域展现了优异的成果,涵盖医疗卫生、金融投资、商品买卖、移动认证等等。深度学习的成功应用案例都是使用了海量有价值的数据,而这些数据都或多或少的存在个人隐私,例如用户兴趣爱好、家庭情况、生活习惯等,这些敏感信息一旦泄露,将会造成不可预估的财产和生命安全问题。因此,深度学习中的隐私保护以及安全问题是一个重要的研究课题。隐私保护深度学习的目的在于通过使用隐私保护策略来对深度学习中的数据、模型进行处理(例如,加密算法、差分机制、噪声添加等),保证数据使用的安全性和模型应用的高效性。本文针对神经网络的隐私保护问题展开研究,分别从加密算法和模型鲁棒性两个角度提出了三种隐私保护深度学习的方案,主要研究工作包括:(1)提出了一种基于高效整型矢量的同态加密框架。从加密算法的角度展开研究,该框架通过使用同态加密算法来加密数据集然后训练和测试模型,该加密算法的核心是使用密钥交换技术和函数多项式化来实现全同态加密,在保证不添加多余噪音的前提下,完成非多项式函数加密和密文的代数运算。实验在MNIST数据集上进行测试,对训练集精确度、测试集精确度、时间开销、周期等参数进行了对比实验,并针对精确度的最大提升提出了数据取绝对值的方法。结果表明,同态加密可以实现神经网络内部的隐私安全。(2)提出了一种基于欺骗深度网络的梯度算法。从模型鲁棒性的角度展开研究,为不造成人类视觉层面的误导,保证用户使用的合理性,从计算机层面欺骗神经网络,验证模型的鲁棒性。该算法基于DeepFool算法为标准,将常规的梯度下降算法改进为梯度上升算法,并引入欧几里得范数来更新特征矢量,将原始数据的标签对应的特征矢量更新为其他类型数据的标签对应的特征矢量。实验中,通过与三种知名的算法L-BGFS、FGSM、DeepFool进行对比研究,同时将算法分别应用于深度神经网络和卷积神经网络进行实验,并使用标准数据集MNIST和Fashion-MNIST进行测试。结果表明,该算法可以降低神经网络精确度,验证并改善模型的鲁棒性。(3)提出了一种基于扰动方向性的高斯噪声算法。进一步从模型鲁棒性的角度展开研究,该算法在第二项工作的基础上进行更深层次的挖掘和研究,改善欺骗深度网络的性能,加强深度网络模型内部的隐私安全。该算法提出了扰动具有方向性的假设,并给出了在二分类任务和多分类任务情况下的证明。根据扰动具有方向性的特征,基于DeepFool算法进行改进并引入高斯噪声到更新策略之中,从而得到GNDF算法。通过将GNDF算法应用到三类标准数据集MNIST、Fashion-MNIST、ISLVRC 2012上进行实验评估。结果表明,该算法相比原始算法,进一步降低了模型的精确度,加强了模型的鲁棒性。