多模型数据库OrientDB参数配置自动调优研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:jluzoro
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
多模型数据库是近年来数据库领域里一个新的研究方向。OrientDB作为一种新兴的多模型数据库,默认的参数配置并不能使其达到最佳性能,需要针对实际应用负载对其参数配置进行调优,现有的单模型数据库上的参数配置调优经验无法直接迁移到OrientDB上,为了降低参数配置调优难度,提高OrientDB性能,充分发挥其潜能,亟需研究OrientDB参数配置自动调优技术。
  论文研究OrientDB参数配置自动调优,从OrientDB的内存设置、网络连接池设置、超时等待时间设置、并行查询设置、预写日志设置、事务日志设置这六个方面选择出11个待调优的参数配置,基于深度强化学习建模OrientDB参数配置自动调优过程,以此为基础设计并实现了OrientDB参数配置自动调优框架OCTune。OCTune基于深度确定性策略梯度算法构建调优模型,在理论上,将OrientDB参数配置调优涉及的各个部分与深度强化学习中的六个关键要素一一映射,并针对OrientDB的应用场景为调优模型设计了一个有效的奖励函数,用以指导调优模型的训练;在实现上,设计了一个基准测试工具MMBench支持生成跨数据模型查询的工作负载,丰富了对OrientDB的性能测试场景,设计了一个状态监控工具OSMonitor对OrientDB的运行状态进行实时监控和处理,以及一个性能统计工具OPIndicator对OrientDB的性能变化进行统计和评估,OCTune使用MMBench、OSMonitor以及OPIndicator完成训练数据的收集,在没有人类调优历史经验数据的情况下也能完成调优模型的训练。最后,针对OrientDB的四种工作负载对OCTune的调优效果和适应性进行了测试,得到了可观的效果,实验结果表明,经过OCTune的调优后,OrientDB的性能可提升3.6%~54.9%。
其他文献
移动边缘计算(Mobile Edge Computing, MEC)将大量的计算和频谱资源转移到接近最终用户的地方,减少了服务时延。面向MEC的延迟敏感的人工智能(Artificial Intelligence, AI)应用,如情感识别,人脸识别等,通常受到能量消耗和计算资源的限制,不能满足QoS要求。计算卸载与迁移作为MEC关键技术之一,研究者们提出各种方案以解决MEC中的计算与通信问题。  然
图像分类与目标检测是计算机视觉领域中众多人工智能应用中的关键技术,是重要的研究方向。其中图像分类是判别图像的类别问题,目标检测是实现对图像中的多个目标的定位和分类,即图像分类是目标检测的基础。近些年,研究人员利用深度学习方法大大提高了图像分类与目标检测的性能,使用卷积神经网络进行特征学习已经成为图像处理的主要方法。但是,由于图像中场景变化,目标遮挡,目标模糊,分辨率过低等原因,使得图像分类与目标检
学位
随着云存储规模的不断增大,云存储系统面临数据丢失的风险也不断提升,因此云存储系统中数据可靠性问题是当前学术界和工业界关注的一大热点。为了解决该问题,云存储系统通常使用具有低存储成本的纠删码技术。区别于一般存储系统,云存储系统需要满足海量用户复杂多变的存储需求,以及提供7×24高可用的存储服务,而这给云存储系统中纠删码技术带来两大关键性科学问题,分别是纠删码的存储扩展性能较低与频繁变化的存储扩展需求
深度学习作为目前人工智能领域的前沿技术,在处理现实世界复杂问题时优势显著。与传统的人工神经网络相比,深度神经网络拥有更多的隐藏层及神经元,同时产生了大量不同种类的中间数据。这些数据对训练与推理任务的执行效果能够起到至关重要的作用,但与此同时,也在系统层面上带来庞大的计算体量、存储开销以及通信负载。目前深度学习系统优化领域存在不少问题,训练运行时效率较为低下,主要问题集中在两方面,其一是高性能加速硬
学位
组合优化主要研究最优匹配、划分与排序等问题的求解方法,从有限个离散状态中搜索最佳状态。交通、物流、医疗、电信、能源、零售、军事等众多领域中均存在大量组合优化问题。尽管各个行业的业务背景千差万别,经过数学建模,绝大多数组合优化问题均可抽象为混合整数规划问题,本质上属于同一类问题。为高效求解该类问题,众多启发式优化算法被相继提出,面向政府与企业的需求提供解决方案。  一方面,路径规划与人员排班作为极具
肺癌严重威胁着人类的生命安全,是目前世界上发病率和死亡率最高的一种癌症。肺癌的早期诊断和早期治疗是提高肺癌患者五年存活率的关键。肺结节是肺癌早期的主要表现形式,基于CT影像学的肺结节检测、分割以及良恶性分类是肺癌早期诊断的关键步骤和有效手段。研究基于卷积神经网络的肺结节诊断算法并开发相应的系统,可为肺癌的早期诊断提供理论依据和手段。  肺结节的检测和诊断通常包含三个步骤,首先进行肺结节的检测、然后
学位
在社交网络极大普及的今天,如何获取和维护社交网络中一些关键和重要的属性成为了一项极有意义的工作。通常来说,大多数工作都将社交网络抽象化为动态图模型进行结构分析,在图论与网络分析中,中心性是判定网络中节点重要性的指标,是节点重要性的量化。这些中心性度量指标最初应用在社会网络中,随后被推广到其它类型网络的分析中。在对于社会网络的分析过程中,其中一项最基本的任务就是需要区分一个社区中那些对象比其他人更具
学位
集成学习是一类重要的机器学习策略。集成学习通过构造含有多个学习器的集合,以期望获得比其中任意一个个体学习器更优的算法准确度。然而,机器学习模型的训练与使用需要消耗相应的资源,包括但不限于为完成计算任务所需的存储空间、执行时间,和耗费的能量,以及其他所需的物质与人力资源。额外的存储需求和计算成本很大程度上限制了集成学习的潜在应用。有限的计算资源成为许多集成学习方法无法回避的问题,特别是当集成规模较为
随着云计算技术的发展,云存储凭借其扩展性好、部署快、成本低等诸多优势而得到广泛应用,然而近年来屡次出现的数据丢失、泄露、恶意攻击等事件使用户数据面临巨大的安全风险。数据加密技术和访问控制技术是保护数据安全的两个重要手段,现有的密文策略属性基加密方案(CP-ABE)将访问控制技术与数据加密技术相融合,被认为是云环境中最为理想的数据保护方法,但多数CP-ABE存在效率低、对恶意用户攻击的抵御方式过于简
学位
大脑神经网络对人类的思维、情感与行为都起着决定作用,在脑疾病以及类脑智能研究方面具有重要价值。而神经元是构成脑网络的基本单元,重建神经元的拓扑结构并分析其形态特征是脑网络研究中的重要方向。  近十几年来,随着神经标记和光学成像技术的逐渐成熟,科学家已经能够获得单神经元水平的全脑三维图像,为神经元形态重建奠定了数据基础。接下来的问题是如何从这些图像中识别、分割神经元的形态结构,并重建数字化三维模型。