资源受限下阶层式集成学习研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:Angel____
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
集成学习是一类重要的机器学习策略。集成学习通过构造含有多个学习器的集合,以期望获得比其中任意一个个体学习器更优的算法准确度。然而,机器学习模型的训练与使用需要消耗相应的资源,包括但不限于为完成计算任务所需的存储空间、执行时间,和耗费的能量,以及其他所需的物质与人力资源。额外的存储需求和计算成本很大程度上限制了集成学习的潜在应用。有限的计算资源成为许多集成学习方法无法回避的问题,特别是当集成规模较为庞大时,训练和使用集成模型时出现的困难和瓶颈日益显现。
  集成约简是破解计算资源掣肘的有效途径。集成约简又被称为集成选择、集成修剪,是集成学习中一个活跃的研究领域。集成约简主要目的是从一个集成学习集合中筛选出部分模型组成一个子集合,进而舍弃原集合中剩余的未被选取的基学习器,利用该子集替代原有集合,用较少的资源开销在性能上(通常是预测准确度)达到所需要求。集成约简研究具有显著的应用价值与重要的理论意义。
  本研究针对资源受限下集成约简与集成学习中亟待解决的几个问题展开了研究。首先设计集成约简算法以降低集成规模,从根本上减少由数量众多的基学习器产生的计算资源开销;以此算法为基础,研究阶层式集成学习算法框架,在控制集成规模的同时提高集成模型的精度和训练速度;依托该阶层式算法框架,形成直接计算多分类任务的方法,避免多次执行二分类学习器导致过多的资源开销;最后,研究集成学习系统的硬件部署方法,同时验证为资源受限条件设计的集成约简算法与学习框架。本研究主要工作和创新点具体包括:
  (1)提出了一种新颖的集成约简方法。创新性的引入布尔逻辑、逻辑综合的思想与技术,先利用逻辑最小化从初始集成选取数量非常有限的个体学习器模型,再用生成的布尔函数结合这些模型,计算最终集成的整体输出。本课题从一个全新的视角探索集成学习研究,首次认识到集成约简这一重要的机器学习问题可以被系统地规划为逻辑最小化问题。实验结果表明,在确保分类预测准确率不低于Bagging算法的情况下,平均仅保留9.43%的基学习器模型,在最佳情况下能够达到大于97%的约简率,新集成规模为当前同类算法中最小。
  (2)提出了一种阶层式集成学习算法框架。在训练学习阶段,算法先通过随机森林算法构建一个初始集,再通过设计的划分策略将其划分为多个较小的组,在划分后以组为单位的子集成上执行基于逻辑综合的集成约简算法,从而将最初的面向大规模初始集的集成约简问题,转换为若干个针对数量十分有限的基学习器小集合的子问题,确保逻辑综合的效果与执行效率。在使用集成学习模型做推断时,先在组内运用基学习器完成分类计算,再将各组的结果集中结合作为集成整体输出。“阶层式”为集成算法提供了一种对计算资源敏感的集成规模调控机制,能够准确的对最终集成规模的上限与下限作出预判。该集成算法显著地减少了初始集规模,且在分类准确率上超过随机森林和现有集成约简算法。
  (3)提出了一种多类别分类问题的直接计算方法。一直以来,当分类器不具备直接处理多类别分类问题时,传统方法习惯于将多分类问题转化为一组二分类的子问题求解。本研究则从正面直接给出解决办法:先利用多位编码表示两个以上的数据样本类别,再对多位编码后的真值表执行多次逻辑综合生成布尔函数组,其中每个函数负责一个类别编码位的布尔值。实验结果验证了方法的可行性,在取得超过随机森林的分类准确率的同时能够实现更小的最终集成规模。
  (4)提出了一种由高级程序语言向硬件描述语言自动转化的范式,能够从基于高级程序语言的决策树集成学习模型自动生成可在硬件系统部署的电路模型。实验部分从物理层面考察了包括随机森林在内的若干集成算法对硬件资源占有情况,是本课题“资源受限下”的集成学习研究的重要实践部分。前期机器学习、数据挖掘研究不乏有设计巧妙的集成约简方法,但往往止步于算法在纯软件环境的实现和验证。虽多次指出在嵌入式及边缘设备中的应用前景,却从未实现。本研究的自动转化范式不仅在真实的物理硬件系统上验证了本课题提出的算法,还具推广意义,可以与现有的绝大多数决策树集成学习研究结合,满足机器学习模型硬件实现、软硬件系统协同设计的工业应用需求。
  综上所述,阶层式集成学习框架是本课题研究的核心。以此为基础的划分策略和训练方法可以有效地调控集成模型的预测准确率、存储开销、功耗、训练时间、响应速度等性能,达到资源受限下的最佳综合状态。面向多分类问题的直接计算方法使阶层式集成框架功能上更加完善。逻辑综合则是贯穿全文的关键技术。大量的软、硬件实验结果验证了本研究提出的集成算法与方法。
其他文献
键值存储是支撑数据中心和众多数据密集型应用的关键技术,广泛应用于网页检索、电子商务、云存储、社交网络等领域。大数据时代下,键值存储的发展始终围绕着三大需求,即更高的访问效率、更大的存储容量和稳定可预测的性能。在近些年发展的新型存储器件中,瓦记录磁盘显著提高了磁盘面密度,具有低成本、高存储容量的优势;非易失性内存则能够明显提升访问效率,兼具传统硬盘的持久性和接近DRAM的存取速率。因此,新型存储器件
为从大规模图中挖掘出有价值的信息和知识,分布式图计算系统首先通过图分割方法,将图中的顶点和边分配到各计算节点上;然后,执行特定的图处理流程,迭代计算图中的顶点数值,直至图算法收敛。因此,图分割方法和图处理流程在很大程度上决定了分布式图计算系统的整体性能。传统的分布式图计算系统通常基于同构计算集群,并采用静态的、通用的图分析模式。但随着图计算应用在广度和深度上的不断扩展,新型的分布式图计算系统需要能
在互联网时代,大规模近似最近邻检索方法在海量多媒体数据检索,人脸识别等领域具有广泛应用。如何快速、准确、高效地对大规模(十亿级别)多媒体数据进行近似最近邻检索成为当前检索技术方向研究的热点和难点。  目前主流的大规模近似最近邻检索方法主要采用基于量化方法的索引结构和压缩编码方法来提高检索准确率和速度,并利用图形处理器(GPU)强大的并行计算能力对检索方法进行加速。由于GPU的内存空间有限与不同于C
移动边缘计算(Mobile Edge Computing, MEC)将大量的计算和频谱资源转移到接近最终用户的地方,减少了服务时延。面向MEC的延迟敏感的人工智能(Artificial Intelligence, AI)应用,如情感识别,人脸识别等,通常受到能量消耗和计算资源的限制,不能满足QoS要求。计算卸载与迁移作为MEC关键技术之一,研究者们提出各种方案以解决MEC中的计算与通信问题。  然
图像分类与目标检测是计算机视觉领域中众多人工智能应用中的关键技术,是重要的研究方向。其中图像分类是判别图像的类别问题,目标检测是实现对图像中的多个目标的定位和分类,即图像分类是目标检测的基础。近些年,研究人员利用深度学习方法大大提高了图像分类与目标检测的性能,使用卷积神经网络进行特征学习已经成为图像处理的主要方法。但是,由于图像中场景变化,目标遮挡,目标模糊,分辨率过低等原因,使得图像分类与目标检
学位
随着云存储规模的不断增大,云存储系统面临数据丢失的风险也不断提升,因此云存储系统中数据可靠性问题是当前学术界和工业界关注的一大热点。为了解决该问题,云存储系统通常使用具有低存储成本的纠删码技术。区别于一般存储系统,云存储系统需要满足海量用户复杂多变的存储需求,以及提供7×24高可用的存储服务,而这给云存储系统中纠删码技术带来两大关键性科学问题,分别是纠删码的存储扩展性能较低与频繁变化的存储扩展需求
深度学习作为目前人工智能领域的前沿技术,在处理现实世界复杂问题时优势显著。与传统的人工神经网络相比,深度神经网络拥有更多的隐藏层及神经元,同时产生了大量不同种类的中间数据。这些数据对训练与推理任务的执行效果能够起到至关重要的作用,但与此同时,也在系统层面上带来庞大的计算体量、存储开销以及通信负载。目前深度学习系统优化领域存在不少问题,训练运行时效率较为低下,主要问题集中在两方面,其一是高性能加速硬
学位
组合优化主要研究最优匹配、划分与排序等问题的求解方法,从有限个离散状态中搜索最佳状态。交通、物流、医疗、电信、能源、零售、军事等众多领域中均存在大量组合优化问题。尽管各个行业的业务背景千差万别,经过数学建模,绝大多数组合优化问题均可抽象为混合整数规划问题,本质上属于同一类问题。为高效求解该类问题,众多启发式优化算法被相继提出,面向政府与企业的需求提供解决方案。  一方面,路径规划与人员排班作为极具
肺癌严重威胁着人类的生命安全,是目前世界上发病率和死亡率最高的一种癌症。肺癌的早期诊断和早期治疗是提高肺癌患者五年存活率的关键。肺结节是肺癌早期的主要表现形式,基于CT影像学的肺结节检测、分割以及良恶性分类是肺癌早期诊断的关键步骤和有效手段。研究基于卷积神经网络的肺结节诊断算法并开发相应的系统,可为肺癌的早期诊断提供理论依据和手段。  肺结节的检测和诊断通常包含三个步骤,首先进行肺结节的检测、然后
学位
在社交网络极大普及的今天,如何获取和维护社交网络中一些关键和重要的属性成为了一项极有意义的工作。通常来说,大多数工作都将社交网络抽象化为动态图模型进行结构分析,在图论与网络分析中,中心性是判定网络中节点重要性的指标,是节点重要性的量化。这些中心性度量指标最初应用在社会网络中,随后被推广到其它类型网络的分析中。在对于社会网络的分析过程中,其中一项最基本的任务就是需要区分一个社区中那些对象比其他人更具
学位