论文部分内容阅读
深度学习作为最强大的数据挖掘技术,在各个领域都有着广泛的应用前景。然而在基于云计算的服务模式下,如果用户数据中存在隐私敏感信息,那么将存在潜在的隐私泄露风险。同时,深度学习算法提取到的中间特征不具有抗隐私分析能力,也存在对应的隐私泄露风险。
针对深度学习应用在推理阶段面临的用户数据隐私泄露风险,模型分割部署模式基于深度神经网络层级连接的特点,将神经网络从中间层一分为二,分别部署在客户端与服务器端。通过传输中间特征而非原始数据,对用户数据进行隐私保护。更进一步,为了解决中间特征的隐私泄露问题,基于对抗训练的支持隐私保护的特征提取方法向原始目标网络引入额外的隐私攻击网络,作为隐私泄露风险的度量,通过隐私攻击网络对目标网络的特征提取过程施加隐私保护约束。针对隐私属性已知的场景,提出使用特定的隐私攻击任务作为对抗目标,针对隐私属性未知的场景,提出使用重构攻击任务作为对抗目标。最后采用对抗训练技术对隐私攻击网络和目标网络进行交替训练,得到具有隐私保护特性的中间特征,该特征能够有效地防御各种隐私攻击。
实验表明,支持隐私保护的特征提取方法可以有效地降低隐私攻击效果,而不会对目标任务的准确度带来显著影响。通常可以将目标任务准确度的下降控制在5%以内,具有极高的可用性。该方法在隐私保护效果方面均优于同类方法,与使用专用编码网络的方案相比,实施难度方面具有明显优势,可以与已有模型结构无缝集成。方法中存在的隐私性-实用性权衡可以通过超参数进行调节,与具体的隐私攻击场景有关。此外,由于模型分割部署模式会为客户端设备带来额外开销,因此在满足隐私性-实用性要求的前提下,分割层应尽可能选择浅层。
针对深度学习应用在推理阶段面临的用户数据隐私泄露风险,模型分割部署模式基于深度神经网络层级连接的特点,将神经网络从中间层一分为二,分别部署在客户端与服务器端。通过传输中间特征而非原始数据,对用户数据进行隐私保护。更进一步,为了解决中间特征的隐私泄露问题,基于对抗训练的支持隐私保护的特征提取方法向原始目标网络引入额外的隐私攻击网络,作为隐私泄露风险的度量,通过隐私攻击网络对目标网络的特征提取过程施加隐私保护约束。针对隐私属性已知的场景,提出使用特定的隐私攻击任务作为对抗目标,针对隐私属性未知的场景,提出使用重构攻击任务作为对抗目标。最后采用对抗训练技术对隐私攻击网络和目标网络进行交替训练,得到具有隐私保护特性的中间特征,该特征能够有效地防御各种隐私攻击。
实验表明,支持隐私保护的特征提取方法可以有效地降低隐私攻击效果,而不会对目标任务的准确度带来显著影响。通常可以将目标任务准确度的下降控制在5%以内,具有极高的可用性。该方法在隐私保护效果方面均优于同类方法,与使用专用编码网络的方案相比,实施难度方面具有明显优势,可以与已有模型结构无缝集成。方法中存在的隐私性-实用性权衡可以通过超参数进行调节,与具体的隐私攻击场景有关。此外,由于模型分割部署模式会为客户端设备带来额外开销,因此在满足隐私性-实用性要求的前提下,分割层应尽可能选择浅层。