数据库自动调参并行训练和参数排序技术研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:huaweihbl999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据库自动调参是学术界和产业界共同关注的热点。使用深度强化学习可以实现数据库的端到端的参数配置。然而,现有的数据库自动调参系统调整参数过多,且深度强化学习模型训练时间过长,这导致在调参过程中人机交互繁琐,实际应用效果欠佳。如何加快深度强化学习模型训练速度以及有效地减少需要调整的数据库参数,是一项非常有价值的工作。在数据库自动调参系统CDBTune(Cloud Database Tune)的基础上,同时基于操作系统进程间通信及同步,使用多台CDB(Cloud Database)实例,实现一种多模型共享样本的并行训练系统。该系统包含一个共享模型以及多个独立的本地模型。共享模型负责保存最新稳定模型的参数,本地模型负责并行收集样本并实时与共享模型同步最新稳定模型的参数。在此基础上,基于机器学习库scikit-learn中的随机森林模型,采用网格搜索技术确定随机森林模型的最优超参数,通过对训练过程中收集的各种数据进行标准化并对随机森林模型进行学习更新,实现了以基尼系数为判断数据库参数重要性的标准的数据库参数排序功能。实验表明,多模型共享样本的并行训练系统相比于串行训练系统,当使用2台CDB实例进行并行训练时,其收敛时间减少了17.2%,加速比为1.2;使用3台CDB实例进行并行训练时,收敛时间减少了27.6%,加速比为1.38。给定相同性能目标,使用3台CDB实例的并行训练系统所需时间比串行训练系统最高减少了60%,加速比最高达到2.5。给定相同的训练时间,使用3台CDB实例的并行训练系统达到的性能最高为串行训练系统的161%。在CDBTune系统的基础上,基于随机森林排序的模型平均仅需调整5%的参数即可使性能达到最优性能的90%,仅需调整14%的参数即可达到最优性能的95%,仅需调整21%的参数即可达到最优性能的97%,调整38%的参数即可达到最优性能。
其他文献
利用网络药理学和分子对接探讨黄芪-白术-茯苓配伍使用治疗乳腺癌的分子机制.采用TCMSP数据库获取黄芪、白术、茯苓的化学成分及其相关靶点,在GeneCards、OMIM数据库中收集乳腺癌疾病的相关靶点,利用Venny 2.1筛选出二者的共同靶点,由Cytoscape 3.7.2绘制可视化的药物-成分-靶点-疾病网络及PPI网络;通过DAVID数据库对靶点进行GO和KEGG分析,并运用SwissDo
第五代移动通信系统对传输速率、用户移动性、终端数量等提出了更高的需求。下行无线资源调度作为移动通信领域重要的组成部分,传统的资源调度方式已经难以适应新的技术与场景。目前常用的比例公平调度算法在调度上缺少灵活性,而且面对一些变化的场景难以保证短期的公平性。随着多输入多输出系统朝着大规模MIMO发展,用户的选择算法需要降低用户间干扰对系统性能的影响。传统基于模型的调度算法已难以适应复杂多变的网络场景,
随着社会的发展和科技的进步,人们对于智能生活的期待越来越高,更多高科技工业化产品也应运而生,其中以电磁波为基础的毫米波雷达更是有着耀眼的表现。凭借着毫米波自身的优质特性,毫米波雷达在生活和工业应用上的应用也是层出不穷。在汽车系统上,利用毫米波雷达不受光照、雨水、风沙等恶劣天气影响的优势,可以将毫米波雷达应用到到汽车的自动驾驶系统和倒车雷达辅助系统上;在工业上,可以借助毫米波雷达高分辨率的特性,对精
近年来,视频流量呈现指数型的增长,应用多播技术复用带宽对于节省视频流量是至关重要的。相比于高轨道卫星电视以及传统的内容分发网络(Content Distribution Network,CDN),网络层多播比卫星电视的规模大成本更低,并且能大幅节省CDN的单播流量,有更高的效率且没有额外的运维成本,显然是更为先进的。然而网络层多播在地面互联网中无法跨越多家运营商网络实现,难以充分发挥网络层多播优势
灾害救援的信息化处置是国家的重大需求,搭建灾害现场与指挥中心之间的信息互通是开展应急救援的关键所在。针对重大灾害的发生伴随的断电、断网等次生灾害造成的信息孤岛,本文工作在国家重点研发项目“基于广电体系的融合应急通信关键技术研究与应用示范”的支持下,开展面向应急救援场景的高效视频压缩方案,并研制面向融合通信的单兵应急救援装备,实现应急救援业务的高效传输,具体包括:(1)针对应急融合通信网络环境下带宽
骨与关节系统疾病是导致残疾、工作能力丧失和生活质量下降的最常见原因,其治疗往往需要使用植入物。可降解生物材料由于其模量与人体骨更加匹配,以及植入体内不需要二次手术等优点逐渐替代金属材料成为骨组织工程中的研究热点。其中聚乳酸(polylactic acid,PLA)由于具有良好的生物降解性和相容性被广泛应用于生物医疗中,但是其降解产物呈现局部酸性是限制其单独作为植入物的主要原因。羟基磷灰石(hydr
水声信道复杂且恶劣,具有多径效应严重、带宽有限等特点。正交频分复用技术(Orthogonal Frequency Division Multiplexing,OFDM)凭借其抗多径效应能力强、频谱效率高等特点在水声通信领域获得广泛应用。然而,要在复杂水下环境中实现高速水声OFDM通信面临诸多挑战,尤以接收端精确的信道估计更为突出。因此,本文将致力于水声OFDM通信系统中信道估计的研究。本文从频域和
氧化锌(ZnO)作为一种传统的金属氧化物半导体材料,在发光二极管、光催化剂、光探测器及传感器等领域展现出了巨大的应用潜力。在ZnO多种形态的纳米结构中,一维(1D)结构具有直接用于制造器件的潜力,其独特的形态为载流子的输送提供了高效的平台,对于电子和光电设备来说非常有利。研究ZnO在光的作用下载流子的产生与复合的基本过程是改善和提高器件性能的基础。本文选择水热法制备的ZnO纳米棒阵列膜作为研究对象
马克思主义中国化的民族性体现为马克思主义在中国的本土化进程中被赋予的民族性格,反映了马克思主义在跨文化传播、理论接纳、实践和再阐释的过程中如何拥有民族身份,并被赋予中国特色。从本土化视角出发,马克思主义中国化进程可以理解为认知维度的本土化,包括语词的本土转化和思想的本土表达(话语),及实践维度的本土化,即以马克思主义提出的社会革命目标和共产主义理想为彼岸追求,在实践中形成的具体革命策略和本土经验。
随着无人机平台性能的提高,例如更大的有效载荷能力,更长的飞行时间,更强的空间移动性,以及更完善的电源管理,无人机被越来越多的用于遥感信息采集,交通道路监控,地震灾害救援方面。目前的无人机主要配置全向天线,全向天线各方向统一增益,覆盖范围较大。然而,全向天线由于接收来自各个方向的信号,在接收地面用户上行传输信息的过程中,会受到来自基站的严重干扰。同时无人机因为受体积、重量、功率等因素限制,不适合安装