【摘 要】
：
深度学习在各种实际应用中取得了巨大成功,如何有效提高各种复杂的深度学习模型在硬件设备上的执行效率是该领域重要的研究内容之一.深度学习框架通常将深度学习模型表达为由基础算子构成的计算图,为了提高计算图的执行效率,传统的深度学习系统通常基于一些专家设计的子图替换规则,采用启发式搜索算法来优化计算图.它们的不足主要有:1)搜索空间大,效率低下;2)缺乏可拓展性;3)难以利用历史优化结果.为了解决上述问题,文中提出了GSO,即一个基于图神经网络的深度学习计算图子图替换优化框架.该框架将计算图的子图优化建模成经典的
【机 构】
：
北京大学信息科学技术学院 北京 100871;北京邮电大学计算机学院 北京 100871
论文部分内容阅读
深度学习在各种实际应用中取得了巨大成功,如何有效提高各种复杂的深度学习模型在硬件设备上的执行效率是该领域重要的研究内容之一.深度学习框架通常将深度学习模型表达为由基础算子构成的计算图,为了提高计算图的执行效率,传统的深度学习系统通常基于一些专家设计的子图替换规则,采用启发式搜索算法来优化计算图.它们的不足主要有:1)搜索空间大,效率低下;2)缺乏可拓展性;3)难以利用历史优化结果.为了解决上述问题,文中提出了GSO,即一个基于图神经网络的深度学习计算图子图替换优化框架.该框架将计算图的子图优化建模成经典的子图匹配问题,基于计算图中算子的特征信息和计算图的拓扑结构信息,通过图神经网络模型来估计每种子图替换规则的匹配可行性和位置.基于与主流深度学习系统兼容的Python接口实现了GSO,实验结果表明:1)相比全量的子图替换规则,基于图神经网络的子图匹配预测可以最多减少92％的搜索空间;2)相比现有的启发式搜索算法,GSO可以更快地完成计算图子图替换优化(2倍以上),并使优化后的子图最多得到34％的加速.
其他文献
当前,面对严峻复杂的国际新冠疫情和世界经济形势,管理决策所面临的问题也日趋复杂.因此,对复杂问题进行因素关联分析对于管理者认知复杂事物核心、抓住事物主要矛盾以有效解决复杂社会经济问题至关重要.决策试行与评价实验室方法(DEMATEL)作为一种对复杂系统因素间关联关系进行分析的有效工具,近年来已经受到国内外学者的广泛关注.通过系统地研究相关文献,按照DEMATEL方法运作的逻辑顺序从系统结构、评价标度、因素间的自依赖关系、中心度与原因度的指标确定、关键因素辨识五方面对其研究现状及发展动态予以综述.综合分析得
在知识图谱中,实体的文本描述信息、实体的层次类型信息和图的拓扑结构信息中隐藏着丰富的内容,它们可以形成对原始三元组的有效补充,帮助提高知识图谱各种任务的效果.为了充分利用这些多源异质信息,首先通过一维卷积神经网络嵌入文本描述信息,然后根据实体的层次类型信息构建投影矩阵,将三元组中的实体向量和实体的描述向量映射到特定的关系空间中来约束实体的语义信息,再基于图注意力机制融合图的拓扑结构信息,计算不同邻接点对实体的影响.在图注意力层中,计算了实体间的多跳关系来帮助改善数据稀疏的问题.最后,通过二维卷积神经网络来
联邦学习解决了数据安全日益受到重视条件下的数据互用难题,但是传统联邦学习缺少鼓励和吸引数据拥有方参与到联邦学习中的激励机制,联邦学习审核机制的缺失给恶意节点进行破坏攻击提供了可能性.针对这个问题,文中提出基于区块链技术的面向电能量数据的可靠的联邦学习激励机制.该方法从对数据参与方的训练参与进行奖励和对数据参与方的数据可靠性进行评估两方面入手,设计算法对数据参与方的训练效果进行评估,从训练效果和训练成本等角度来确定数据参与方的贡献度,并根据贡献度来对参与方进行奖励,同时针对数据参与方的可靠性建立声望模型,根
在分层联邦学习中,能量受限的移动设备参与模型训练会消耗自身资源.为了降低移动设备的能耗,文中在不超过分层联邦学习的最大容忍时间下,提出了移动设备能耗之和最小化问题.不同训练轮次的边缘服务器能够选择不同的移动设备,移动设备也能够为不同的边缘服务器并发训练模型,因此文中基于在线双边拍卖机制提出了ODAM-DS算法.基于最优停止理论,支持边缘服务器在合适的时刻选择移动设备,使得移动设备的平均能耗最小,然后对提出的在线双边拍卖机制进行理论分析,证明其满足激励相容性、个体理性、弱预算均衡约束等特性.模拟实验的结果证
由于在建模关联信息方面具备天然优势,图数据已在社交网络、知识表示等方面被广泛运用.但是相较于传统的关系型数据库系统,图数据管理中的以子图匹配为代表的一系列基础操作仍有进一步优化的空间.在一个完善的图数据库系统中,为实现多个子图匹配任务的优化调度,往往需要对每个任务的代价,尤其是匹配结果的基数进行准确预估.然而,现有的子图匹配基数预估方法缺乏对图结构信息的充分考量,且在多结点匹配中存在严重的潜在累计误差.BoostCard方法通过对各结点的邻域信息进行表示,来聚合结点的局部结构特征,同时运用统计方法估计不同
现有的水印和加密方案大多难以确保水印和加密过程的交换性以及受保护图像的视觉质量,这些方案的水印嵌入和加密过程固定且对受保护图像的内容进行了或多或少的修改,很少有方案在不影响受保护图像内容质量的前提下完成水印和加密过程的交换.因此,提出了一种基于奇异值分解的同态可交换脆弱零水印方案.在发送端,内容所有者采取同态加密对原始图像内容进行加密,加密和水印生成两个阶段互不影响,可以分别从加密图像和原始宿主图像生成零水印信息.在接收端,合法接收者先进行图像解密,再在解密的图像内容上进行水印检测,通过提取的水印信息可以
大数据分析系统的用户希望任务的执行时间尽可能短.然而,在任务执行期间,网络与计算时刻都可能成为阻碍任务执行的资源瓶颈.通过对大数据分析系统的观察与分析,得出如下结论:1)根据当前资源瓶颈的不同,数据并行框架应当在多种工作模式之间切换;2)子任务的调度应当充分考虑将来可能到达的新任务,而不能仅考虑当前已经提交的任务.基于上述观察,设计并实现了全新的任务调度系统Duopoly,其由感知计算资源的网络调度器cans与感知网络资源的子任务调度器nats两部分组成.通过小规模物理集群与大规模仿真实验对Duopoly
在传统的密文策略属性基加密(Ciphertext-Policy Attribute-Based,CP-ABE)方案中,访问策略是显式存在的,这可能会泄露数据所有者的隐私,在医疗场景中会给数据所有者带来潜在的安全隐患,因此支持访问策略隐藏的方案被陆续提出.但是多数方案在实现解密测试的过程中需要生成冗余密文或密钥组件,增加了数据所有者的计算开销和数据用户的存储开销.同时,恶意用户可能会受利益驱使,泄露其解密密钥.为了解决以上问题,提出了一个支持访问策略隐藏和密钥追踪的轻量级医疗数据共享方案.首先,采用SGX(
针对目前攻击图模型不能实时反映网络攻击事件的问题,提出了前向更新风险概率计算方法,以及前向、后向更新相结合的动态风险概率算法.所提算法能够即时、准确地动态评估和分析网络环境变化问题,对网络攻击事件进行动态实时分析.首先对图中各个节点的不确定性进行具体量化分析,在贝叶斯网络中计算它们的静态概率,之后根据实时发生的网络安全事件沿前向和后向路径更新图中各个节点的动态概率,实时量化和反映外界条件的变化,评估网络各处的实时危险程度.实验结果表明,所提方法可以根据实际情况校准和调整攻击图中各节点的概率,进而帮助网络管
现有的联邦学习模型同步方法大多基于单层的参数服务器架构,难以适应当前异构无线网络场景,同时存在单点通信负载过重、系统延展性差等问题.针对这些问题,文中提出了一种面向边缘混合无线网络的联邦学习高效模型同步方法.在混合无线网络环境中,边缘移动终端将本地模型传输给附近的小型基站,小型基站收到边缘移动终端模型后执行聚合算法,并将聚合后的模型发送给宏基站完成全局模型更新.考虑到信道性能的异构性和数据传输在无线信道上的竞争关系,文中提出了一种新型的分组异步模型同步方法,并设计了基于传输速率感知的信道分配算法.在真实的