【摘 要】
：
大规模随机梯度下降算法是近年来的热点研究问题,提高其收敛速度和性能具有重要的应用价值.大规模随机梯度下降算法可以分为数据并行和模型并行两大类.在数据并行算法中,模型
【机 构】
：
中国科学院计算技术研究所网络数据科学与技术重点实验室,中国科学院大学
【基金项目】
：
国家“九七三”重点基础研究发展规划项目基金(2012CB316303,2014CB340401);国家“八六三”高技术研究发展计划项目子课题基金(2012AA011003);国家自然科学基金重点基金(61232010);国家自然科学基金杰出青年学者基金(61203298,61003166)资助~~
论文部分内容阅读
大规模随机梯度下降算法是近年来的热点研究问题,提高其收敛速度和性能具有重要的应用价值.大规模随机梯度下降算法可以分为数据并行和模型并行两大类.在数据并行算法中,模型合并是一种比较常用的策略.目前,基于模型合并的随机梯度下降算法普遍采用平均加权方式进行合并,虽然取得了不错的效果,但是,这种方式忽略了参与合并的模型的内在差异性,最终导致算法收敛速度慢,模型的性能及稳定性较差.针对上述问题,该文在分布式场景下,提出了基于模型差异进行合并的策略,差异性主要体现在两方面,各模型在其训练数据上错误率的差异和训练不同阶段模型合并策略的差异.此外,该文对合并后的模型采用规范化技术,将其投射到与合并前模型Frobenius范数相同的球体上,提高了模型的收敛性能.作者在Epsilon、RCV1-v2和URL 3个数据集上,验证了提出的基于差异合并的分布式随机梯度下降算法相对于平均加权方式具有收敛速度更快、模型性能更好的性质.
其他文献
日前，最高人民法院党组书记、院长周强在全国高级法院院长会议上强调,要坚决抵制西方“宪政民主”“三权分立”“司法独立”等错误思潮影响，旗帜鲜明，敢于亮剑，坚决同否定中国共
改革开放40多年来,中国区域经济发展取得重大成就,但出口导向型的粗放式发展模式也导致一些严重的生态环境问题。为了实现可持续发展,中国加速推进经济发展方式转变的步伐。
本文从《贝弗里奇报告》出发,将社会保障制度的普惠性与选择性做比较,最后得出构建我国发展型的社会保障制度,即普惠型的社会福利和选择型的社会救助,同时结合当下的社会保险
存在主义道德教育是存在主义教育思想的重要组成部分,它同样以人的存在为基础,关注人的自我实现和自由发展。它以自由化为道德取向,帮助学生学会自由选择道德标准,并对此负责
根据已有地籍档案数据,采用全解析法进行地籍测量,调查五林镇村庄、独立工矿、风景名胜及特殊用地等建设用地内部每宗土地的界址、范围、地类和面积等利用状况,以及土地的所
[目的]研究生物质炭对旱地红壤基本理化性质及水分特征曲线的影响,为红壤地区土壤改良提供依据。[方法]分层测定不同生物质炭施用量水平下的土样容重、孔隙度和有机碳含量,采
<正>《蓝调石墙T》这部小说是美国的跨行别者费雷斯所写的一部自传体小说,出版于1993年,自从出版以来受到了社会的广泛关注小说主要讲述了跨性别者洁斯在上个世纪六十年代的
<正>1适用范围本标准规定了突发环境事件应急监测的布点与采样、监测项目与相应的现场监测和实验室监测分析方法、监测数据的处理与上报、监测的质量保证等的技术要求。本标
根据2007~2013年我国农业上市公司财务数据,运用主成分分析法筛选提取控制变量,利用面板数据模型探索税收及收入补贴对农业上市公司成长性的影响。结果表明,税收补贴于公司成
主营TCL品牌电视机的TCL多媒体电子公司,2015年前三季度亏损近2.4亿元,暴露了其成本控制模式的诸多问题。文章从全生命周期成本管理的角度,通过分析其内部价值链,挖掘其成本