【摘 要】
：
随机梯度下降（Stochastic gradient descent,SGD）及其噪声化变体在机器学习中得到广泛应用.这类迭代优化算法通过梯度下降的原理,让损失函数得以按下降速度最快的方向变小.1951年Robbins和Monro提出的随机近似方法对随机梯度算法的后续发展具有启发性作用.在现代大数据的环境中,SGD是训练神经网络、处理大规模数据集、优化等方面的重要方法,深受各大领域欢迎.算法相关的
论文部分内容阅读
随机梯度下降（Stochastic gradient descent,SGD）及其噪声化变体在机器学习中得到广泛应用.这类迭代优化算法通过梯度下降的原理,让损失函数得以按下降速度最快的方向变小.1951年Robbins和Monro提出的随机近似方法对随机梯度算法的后续发展具有启发性作用.在现代大数据的环境中,SGD是训练神经网络、处理大规模数据集、优化等方面的重要方法,深受各大领域欢迎.算法相关的总体性能是统计学习理论的核心.受Chen等人的启发,可以使用泛化误差与优化误差之和衡量算法的总体性能.实际上,泛化误差与优化误差衡量的是过拟合与欠拟合.在该文的工作中,我们讨论SGD等深度学习迭代优化算法的稳定性与收敛性.而算法的稳定性指算法的输出不太依赖于任何单独的训练示例.算法的稳定性与其泛化能力密切相关,对泛化误差进行定量估计具有理论和实践意义.而对于随机梯度方法而言,在非凸学习目标问题下,探讨SGD对泛化误差的影响具有重要的理论意义,而且对深度学习的泛化误差至关重要.与现有研究不同,我们关心的是迭代算法的加权输出的泛化误差界限,以及优化误差的大小.我们讨论损失函数是次高斯的,基于标准设置、随机子集、复制样本的思想,借助无条件互信息、分离互信息、条件互信息工具,推断迭代算法的泛化界.最后,将这些界限应用于实际的算法.为验证分析所得结论,我们在MNIST和CIFAR-10的数据集上进行了实验.数值模拟结果显示,加权输出在非凸优化问题中的结果总是较优的.
其他文献
船舶机损事故严重威胁船舶运营安全，给航运公司带来重大经济损失，一直是航运公司风险防控的重点。为探究此类事故规律，控制和减少同类事故发生，利用基于局部加权平滑的季节趋势时序分解方法构建数学模型，对船舶机损事故的分布特征和时序规律进行描述和分析，发现船舶机损事故的发生具有季节性规律。根据机损事故的季节性规律，采取针对性防范措施。通过事故数据对比，验证该方法在船舶机务安全管理方面的实际效果，为船舶机务风
近年来,保险业的数字化转型步伐加快,不仅为保险公司提供了更多高质量的发展机会,也改变了整个保险行业发展的发展趋势。根据银保监会公布的数据显示,2020年,保险行业在数字化转型方面取得了巨大进展,其中保险科技投资总额高达351亿元,较上年增长了27%。随着未来几年的不断推进,保险科技的投资规模也在迅猛增长,到2023年,预计将超过546.5亿（1）。随着数字技术的飞速发展,保险公司所处的市场、经济和
为解决城市市政道路绿化工程中施工养护管理的问题，对市政道路绿化施工养护的重要性、管理原则以及养护中存在的问题进行研究，提出了城市市政道路绿化施工养护管理措施，主要包括土壤管理、给排水管理、树木修剪管理、施肥管理、病虫害防治、树木移植后的养护注意事项等，以期为相关工程提供参考。
2019年标志着中国进入第五代移动通信（Fifth-Generation,5G）的商用时代,遵循“商用一代,规划下一代”的传统,对第六代移动通信（Sixth-Generation,6G）的研究已经开始。6G网络将实现全球无缝覆盖,满足人、机、物随时随地可靠连接,而实现这一愿景必然伴随着数据传输量的激增。为了满足海量的数据传输并考虑到频谱资源稀缺这一情况,跨频段协同传输成为了不可避免的趋势,因此研究
我国行政法立法中没有规定强制律师代理制度,其他部门法中也只有刑法要求在特定情形下需要辩护人对被告人进行权利保护,民事诉讼法学界对于强制律师代理的理论探讨方兴未艾。自2014年行政诉讼法颁布以来,行政案件陡增,而行政诉讼的原告大多为普通公民,原告的诉权保护薄弱,行政审判结果信访化,法庭程序执行问题交织,使得行政审判的难度量级攀升。因此法治规划和实践中有引入行政诉讼原告强制律师代理的倾向,修正目前行政
云是表征天气和气候变化的重要指标，在大气的能量分配、辐射传输等中起着重要作用。卫星遥感探测以其覆盖范围广、信息量大、重复频率高等诸多优势，成为研究云的主要手段。目前星载测云主动遥感技术主要包括毫米波雷达和激光雷达技术。本文介绍了星载毫米波雷达和激光雷达测云技术发展及数据应用研究现状，重点分析了CloudSat搭载的云廓线雷达CPR和CALIPSO搭载的云—气溶胶激光雷达CALIOP协同观测的成果和
孝丰—三门湾断裂是浙江地区一条规模较大的NW向断裂,该断裂与萧山—球川断裂交汇处曾发生929年杭州5（1/4）级地震,与余姚—丽水断裂交汇处曾发生1998年嵊州—新昌4.5级地震。研究认为孝丰—三门湾断裂广德—杭州段大致以苏州—安吉断裂和湖州—临安断裂为界,分为广德—安吉段、安吉—黄湖段和黄湖—瓶窑段,活动性质为正断层,倾向NE。通过野外地质地貌调查和ESR年龄样品测年认为,该断裂最新活动时代为中
目的 为解决现有制氧技术不能现场同时制取纯氧、高纯氧、超纯氧以及产氧能力模块化扩展问题，探讨和研制一种新型电化学陶瓷膜制氧系统。方法 通过对电化学陶瓷膜制氧机中陶瓷膜垛、气流分布器、加热器、双螺旋交换器、热隔离套以及控制面板、控制箱和辅助系统的设计，形成模块化产氧系统。结果 该模块化设计能根据需要产出纯氧、高纯氧和超纯氧，满足不同用氧需求。结论 该电化学陶瓷膜制氧系统是一种新型制氧技术，主要部件为
用RS2000便携式拉曼光谱仪对28个市售水晶泥样品进行检验，其中17个水晶泥样品检验出硼砂。该方法简便、快速、无损，为水晶泥中硼砂的现场快速检验提供新思路与新方法。
随着公司多元化程度的提高,经营多个业务的母公司可能难以负担子公司发展所需要的资金,规模效应所产生的优势日益减少。在这种情况下,企业开始通过分拆上市的方法来优化资产规模。通过分拆上市,规模庞大的企业解决了资金需求问题,并使母子公司能够聚焦各自核心业务,提高企业的竞争力。我国资本市场探索分拆上市的时间较晚,直到2019年12月,中国证监会发布了《上市公司分拆所属子公司境内上市试点若干规定》,A股市场分