基于负载预测的数据库参数调优方法研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:yifeng9131120
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据库作为信息时代的基础设施,是每个组织、机构、应用、业务的重要支撑。数据库管理系统中的参数配置则是影响数据库运行以及性能的一个重要因素,这些参数决定在不同业务场景下是否能够提供稳定的服务和整体系统的性能,优化后的参数配置相比默认配置能够提升数据库以及应用系统的可用性。目前,数据库参数调优大多以当前工作负载状态作为依据,但是工作负载变化较为频繁,当前配置参数无法很好地适应未来一段时间内工作负载的需求,导致数据库的性能低下或系统崩溃等问题。因此,数据库参数调优需要考虑到负载的变化趋势,首先预测负载变化,然后基于负载变化进行数据库的参数调优。本文将聚焦于负载预测下深度强化学习参数调优模型的研究,旨在减少异常值与深度学习负载预测模型出遗失中长序列信息、未关注全局信息依赖的问题,以及基于深度强化学习方法的参数调优模型由于其固有最大化输出动作与估计值的原因,导致存在计算误差大和调优时间长的问题,构建基于负载预测的数据库参数调优框架。本文主要包括以下两个研究点:(1)针对负载预测中单向的长短期记忆网络仅利用正向信息和中长序列丢失信息的问题,提出一种过滤异常值的基于双向长短期记忆神经网络结合注意力机制的负载预测方法。利用数据库工作负载历史数据样本进行预测,对收集的数据库工作负载指标描述进行分析。首先,负载中存在的异常值会极大影响预测效果,使用孤立森林异常检测方法进行筛选。其次,反向信息也有利于改善模型对序列预测的精准度。最后,结合注意力机制以保证关注全局信息,并利用序列中重要信息的依赖,对未来的数据库工作负载变化进行预测。(2)针对预测负载调优中深度确定性策略参数调优模型中存在计算过估计、收敛速度慢的问题,提出一种基于双延迟深度确定性策略的负载预测参数调优方法。首先使用四个Critic网络交替更新,选择两个Critic目标网络计算出的最小估计值,消除过估计问题,然后采用延迟更新Actor网络,让Critic网络更加确定后Actor再行动,优化参数配置的搜索。最终提高数据库参数调优效果与加速模型收敛时间。最后,在方法实现阶段,采用本文提出的负载预测方法、负载预测参数调优方法和相应技术实现了基于负载预测的数据库参数调优框架FTune。收集数据库参数与性能信息并进行因子分析降维和聚类去除冗余项利用LASSO回归方法生成重要性参数列表,根据参数的重要性程度进行调优,减少搜索网络空间成本。实验结果表明本文方法在数据库的吞吐量上相比原始负载调优的吞吐量性能有22.5%的提升和36.7%的延迟下降,本文基于负载预测的参数调优方法相较于基于当前负载的参数调优方法完成了参数调优过程中的加速迭代,提前应对负载变化的情况。
其他文献
研究背景:遗传性牙龈纤维瘤病(hereditary gingival fibromatosis,HGF)是一种具有遗传异质性的罕见遗传病,以牙龈组织缓慢性、进行性纤维增生为特征。根据临床表型的差异可将HGF分为非综合征型HGF(Non-syndromic Hereditary gingival fibromatosis,NHGF)和综合征型 HGF(syndromic Hereditary gin
学位
学位
共犯转化研究的是复数犯罪人形态下的转化犯成立问题。转化犯是我国刑法一种自成体系的犯罪类型,源于我国1979年《刑法》153条关于“转化型抢劫”的立法规定。我国刑法理论界采用从规范到理论的思维,从刑法条文中抽象得出转化犯的概念。此外,我国现行刑法条文中,除第292条第2款规定的聚众斗殴致人重伤、死亡的转化情形外,其他转化犯规定的均为单一犯形态下的转化,复数犯罪人形态下的转化犯认定鲜有定论。对共犯转化
学位
河网水系的连通状况在提高水资源利用与配置、提升水系自净能力、改善生态环境、维护景观连通功能和优化水系格局等方面都发挥重要作用。然而,在快速城镇化过程中,河网水系出现碎片化严重、水系连通结构单一化和主干化明显等连通结构问题,并伴随着水动力不足、生态环境恶化和水环境污染严重等连通功能问题。水系连通结构与功能优化是保障城市河网水资源利用与管理、水环境安全与社会经济可持续发展的重要一环。因此,对城市河网水
学位
城市水系连通工程作为城市大型生态水利基础设施之一,是城市生态系统的重要组成部分,在保护城市生态环境、保障人类生活、促进经济发展方面均发挥了重要作用。近年来,随着我国对城市水生态文明建设的愈发重视,各地兴建了大量的城市水系连通工程,对工程产生的效应进行全面、科学的量化和评估成为亟需研究的问题。本研究基于生态经济学的能值理论与分析方法,开展了城市水系连通工程生态经济效应构成体系、评估方法等方面的研究。
学位
径流是陆面水循环过程的核心环节,受气候变化和人类活动的综合影响较大。近几十年,全球变暖促使水循环发生剧烈变化,复杂的水资源演变格局加剧了水资源供需矛盾。黄河流域生态环境十分脆弱,水资源短缺、水土流失、土地沙化等问题十分突出,深入了解黄河流域径流形成及其对变化环境的响应机制具有重要意义,可为该流域水资源管理和水生态保护提供决策依据。但关于未来复杂环境对流域径流的驱动效应研究较少,这也是探究该流域未来
学位
学位
黄土高原是水土流失最为严重的地区,自20世纪50年代以来,开展了大量了水土保持措施工作,改变了流域下垫面条件,也因此改变着水沙关系,引起了相关学者的广泛关注,研究的关键在于水土保持措施所导致的下垫面变化对流域水沙过程影响的量化研究。在国家自然科学基金“密集式数据驱动下黄河中游洪水预报关键技术研究(51979250)”的支撑下,选择黄土高原具有代表性的流域岔巴沟流域和称钩河流域作为研究对象,在辨识淤
学位
正当防卫中不法侵害的认定具有理论和司法实践的双重意义。当前我国对正当防卫中不法侵害进行认定时存在着多种观点,以至于在司法实践中出现“同案异判”的现象,由此带来的司法适用难题,严重影响了对正当防卫的认定。从目前我国的司法理论体系来看,对于正当防卫中不法侵害的认识尚未成熟,对于司法实践中不法侵害的认定并没有形成统一的裁判标准。然而从有利于司法裁判的角度而言,理清不法侵害的概念,明确不法侵害的认定规则,
学位
水、能源、粮食是人类生存的基础,关乎社会安全稳定和经济发展大局。随着人口增长和经济发展,人类社会对自然资源的需求日益扩大,资源短缺风险加剧,水、能源与粮食安全受到潜在威胁。水、能源、粮食相互依存、彼此制约,三者间密切且复杂的关系决定了水、能源与粮食安全研究不能是孤立和片面的,而要注重其整体性和协同性。河南省是黄河流域的粮食大省,开展河南省水-能源-粮食协同安全评价及优化研究,对于有效应对资源安全问
学位