【摘 要】
:
近年来,人工智能领域蓬勃发展,同时也存在一些问题和挑战。其中,数据孤岛,用户隐私保护导致的数据割裂问题尤为受到人们的重视。在各行业中,不同机构,同一机构不同部门的数据通常存在屏障,不能被直接共享或交换,表现为数据以“孤岛”的形式存在,这使得大数据驱动的人工智能技术难以充分发挥价值。此外,随着国内外数据隐私保护法规的不断完善,对企业在用户数据的收集、存储和使用环节中提出了高的用户隐私保护要求,这提高
论文部分内容阅读
近年来,人工智能领域蓬勃发展,同时也存在一些问题和挑战。其中,数据孤岛,用户隐私保护导致的数据割裂问题尤为受到人们的重视。在各行业中,不同机构,同一机构不同部门的数据通常存在屏障,不能被直接共享或交换,表现为数据以“孤岛”的形式存在,这使得大数据驱动的人工智能技术难以充分发挥价值。此外,随着国内外数据隐私保护法规的不断完善,对企业在用户数据的收集、存储和使用环节中提出了高的用户隐私保护要求,这提高了企业将数据直接用于生产的难度。新兴的联邦学习技术,旨在多个参与方在不共享各自隐私数据的前提下进行本地模型训练,通过交换加密的机器学习中间结果实现联合模型优化,从而解决上述数据割裂问题。本文首先对一致性约束下的联邦优化算法及其应用进行介绍,为后文对算法的设计和应用做铺垫。算法能在数据不出本地的条件下,有效对多机构的数据进行联合模型优化。接下来,针对跨数据孤岛联邦学习中多个数据中心训练的高通信开销问题,本文设计了一种基于交替方向乘子法一致性优化的分层优化架构。相较于由云端中央服务器协调来自不同数据中心的工作节点进行优化,我们新增数据中心内的边缘服务器作为中间层。架构先通过边缘服务器协调本地工作节点进行域内的参数优化,再由云端的中央服务器协调各边缘服务器进行域间参数优化。实验结果表明,相比较于未分层通信模式,分层架构能有效减少训练达到收敛所需的域间通信轮数。最后,为解决多机构如何联合优化推荐模型的问题,本文提出了一种基于交替方向乘子法一致性优化的联邦推荐方法,该方法能在实现联合推荐模型优化的同时保护各机构的数据隐私。多个推荐数据集上的实验结果表明,联邦推荐方法的模型预测精度与集中式优化方法相近,并在高隐私保护程度下保持较高预测精度。
其他文献
随着基于深度学习的算法出现,各种计算机视觉应用都取得了令人瞩目的进步。但是,大量现有工作已经清楚地证明了深度神经网络(DNN)容易受到对抗样本的攻击。而对抗样本攻击就是在输入数据中添加细微的、人眼不易察觉的噪声,从而误导深度网络模型的预测。这些对抗攻击的存在有利于研究人员了解深度网络模型的脆弱性。目标攻击是指攻击方想要将模型预测结果改变为某些提前指定的目标类别中。而目标攻击又可以根据攻击者对于所攻
自2012年深度卷积神经网络在分类任务上的成功以来,计算机视觉领域便迎来了蓬勃的发展。但是,随着研究的深入,计算机在关于视觉单一模态的众多任务中均已超过人类认知的能力。考虑到未来人机交互,联合传统计算机视觉和自然语言的一系列基本挑战逐渐受到研究者们的关注。在计算机视觉三大任务之一的目标检测的基础下,基于语言描述的目标检测在2014年被提出。基于语言描述的目标检测旨在通过物体的自然语言描述在对应图像
生成对抗网络依靠其非监督的学习方式和强大的生成能力,自2014年提出以来就受到了人们的重点关注。GAN在不断提出新模型的同时也遇到了许多新的问题,其中远距离依赖关系拟合能力差,图像全局特征不一致及因此导致的生成图片质量差等问题不断出现,限制了GAN的进一步应用。本文围绕基于通道特征学习的生成对抗网络图像生成方法展开研究,提出了一种有效利用通道特征提高生成图片质量的方法。通过跟踪国内外相关领域的最新
自2012年Google正式提出知识图谱概念以来,知识图谱已经在智能问答系统、推荐系统、垂直搜索服务、辅助决策系统等多个领域展现出丰富的实际应用价值,受到工业界和学术界的广泛关注。但目前知识图谱依旧面临着人工构建成本高、数据稀疏、信息不完善等缺陷,极大限制了知识图谱的应用能力。目前,如何对知识图谱进行高效的表示与推理依旧是研究工作的重点和难点。本论文针对现有研究方法对知识图谱图结构信息利用效率低、
数据集成是信息检索领域的一个关键性任务。其中,实体统一任务是数据集成的一个关键步骤,也称为实体匹配或重复记录检测。实体统一任务指的是,在不同来源的数据中,找出指向同一现实世界中的实体的数据记录。早期的研究主要是基于字符串距离的算法。这种无监督的方法缺乏有效性和泛化性,因为预定义的匹配阈值通常随着数据集的变化而变化,需要人工为不同的数据集设定阈值,缺乏泛化性。另一条研究分支是基于众包的实体统一算法。
随着大数据时代的到来,指数级增长的数据量使得人们淹没在数据文海之中,如何能在浩如烟海的文本之中提炼所需要的信息变得格外重要。自动文本摘要是指利用概率统计、机器学习、深度学习、神经网络等,从文本中提取主旨信息,挖掘关键信息,将文本的主要信息凝缩成简洁表示的摘要。目前在新闻标题生成、文本检索、知识问答等方面得到广泛应用。序列到序列模型是自然语言处理中用途最广泛的模型,一般由编码器和解码器两大部分构成。
近些年来,许多高维数据在不同的领域中产生。这些高维数据不易用传统方法处理,但迫切需要从这些数据中分析潜在的信息和模式。但是现在的机器学习模型更多地采用矩阵形式,这样会使得我们处理数据需要对数据特征进行向量化处理。对于多元之间的的信息融合和共享,采用矩阵运算表示会很复杂,而张量多线性表示其本身是更加自然的描述。描述张量多线性操作的图示,即张量网络由于其表达的便捷性,现在越来越流行。因为很多低秩的张量
任务规划技术在现实生活中应用十分广泛。任务规划算法通常在给定有限的子任务空间下进行子任务安排,进而得到一条可以满足业务需求的任务流程。目前,基于开放性空间的任务规划求解问题成为研究热点。但这类方法因开放性解空间的原因,对于交互性和动态调整性提出了需求,用户需要在任务规划阶段交互式参与解决方案的调整。为此,论文以代码模块组合任务规划为典型场景,将代码模块组合任务规划分解为代码搜索与代码组合两部分,解
随着信息科学技术的发展,图像已经深入人们生活的方方面面,图像中的内容也越来越复杂。多标签分类比单标签分类更能准确的描述图像中的内容,因而得到广大研究者的关注,并成功应用在智能管理相册、自动驾驶、广告推荐和视频监控等领域中。为了进一步提高多标签图像分类的效果,本文提出了基于语义空间注意力机制的多标签图像分类模型和基于语义通道注意力机制的高分辨率分类模型,具体的研究内容如下:(1)提出了基于语义空间注
强化学习作为机器学习领域的重要分支之一,是一种通过在环境中不断试错从而得到最优策略的方法。而得益于深度学习近年来的发展,结合强化学习与深度学习所形成的深度强化学习成为了一个热门的研究领域,并在许多问题上取得了突破性的进展。在深度强化学习算法中,异策略强化学习算法凭借其对样本数据极高的利用率在部分问题上具有显著优势。但是由于真实环境中的控制问题往往极其复杂,获得经验样本的成本非常昂贵,而且现有强化学