基于滑动窗口的数据流频繁项集挖掘算法研究

来源 :长春工业大学 | 被引量 : 0次 | 上传用户:new_youxi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着计算机技术和信息技术的高速发展,数据流在网络流量管理中的异常检测及报警和零售业中的事务处理等领域得到了广泛应用。数据流的分析和挖掘已成为一个热点研究问题。其中,数据流频繁项集的挖掘是数据流挖掘中最基本的问题之一,因此数据流频繁项集挖掘成为人们关注的焦点。数据流中的频繁模式都与某种特定的窗口相关联,所以窗口模型对数据流中频繁模式来说至关重要,通常的窗口模型分为界标窗口、衰减窗口和滑动窗口,因为前两种模型中过时的事务对挖掘结果有一定的影响,因此人们最关心的还是滑动窗口模型。数据流频繁项集挖掘算法以基于FP-Tree结构最为显著,其中FP-Growth算法在挖掘过程中需要递归生成大量的条件FP-Tree来保存项集信息,过度耗费时空资源。DSFPM算法是在第一个基本窗口流入时就建立DSFPM-Tree结构,随后新窗口到达时,将挖掘的临界频繁闭项集按顺序插入到树中,而当窗口滑动时,需要删除树结构的旧事务中的项,这样一进一出频繁的更新树结构,导致时间开销比较大。pWin算法当有窗口流入时需要频繁的采用条件窗格来更新前缀树,且窗口滑动时也要频繁的删除旧窗口中的项。针对以上算法的不足,本文提出了滑动窗口中FP-Tree的频繁项集挖掘算法MFI-SW(A frequent itemset mining algorithm in the sliding window)。该算法采用上三角矩阵的存储方式,对每个基本窗口建立一个临界频繁模式树NCFP-Tree来压缩存储数据信息,在相同节点个数的情况下,NCFP-Tree较FP-Tree的深度低、分支少,因为NCFP-Tree中的父子结点仅保留临界频繁2-项集的全部信息,所以将父子不满足临界频繁2-项集的结点进行临界剪枝。当窗口滑动时,将旧基本窗口对应的NCFP-Tree释放,建立新基本窗口对应的NCFP-Tree。最后采用层次遍历的方法将挖掘出来的临界频繁项集存在临界频繁项集表FI-i_List中。通过提取IBM中三个数据集来与DSFPM算法和pWin算法进行了大量的对比实验,在相同的环境下,MFI-SW算法的时间运行效率略高于其他两种算法;并在同一数据集下,分别分析了最小支持度阈值和滑动窗口的变化对三个算法的影响,结果显示MFI-SW算法的时间运行效率更高些;算法中的误差因子是一个关键因素,所以对比了不同的误差因子下的算法查全率和查准率,通过实验结果显示MFI-SW算法的查全率和查准率均略高于其他两个算法。由以上实验证明MFI-SW算法是有效可行的。
其他文献
摘 要:随着社会的不断发展,我国国力也在逐渐提升,近年来经济全球化趋势也越来越明显,因此,充分掌握并灵活运用英语对当代学生来说极其重要;同时这也是我国当代社会各界对人才的普遍要求,但就目前来看我国学生英语水平普遍不高,今后或许可以从培养批判性思维能力方面入手。本文通过查阅相关资料,简要介绍了关于批判性思维的内容,并提出了行之有效的在英语演讲与辩论中如何培养学生批判性思维能力的相关措施,以期能够实现
湖南省新闻出版局日前向湖南受洪灾最重的基层新华书店沅江、华容市店各捐款6万元。 今年湖南遭遇百年一遇特大洪灾,湖南全省有38个基层新华书店受灾,直接经济损失1630万元。
过去20多年由于境内资本市场发展缓慢,融资成本高,资本供给不足;而且,国内上市对企业经营规模和盈利能力等方面要求极高,因此,大批企业选择海外上市。然而,自2010年以来,不断有境外中国企业遭到做空机构恶意做空,加之近年我国经济逐渐开始转型,新兴行业获得了高估值与追捧,国内资本市场陆续出台了诸多利好政策,因此,许多中概股企业迫切渴望回归境内市场。根据Wind数据库统计,截至2019年2月,从美国资本
意识形态这一命题多年来受到很多学者的争论,马克思定义为观念的上层建筑而且没有把科学与技术囊括在其中。然而科学与技术的繁荣发展使生产力水平得以大幅提高。科学与技术虽然在一开始并没有联系,但是随着社会的发展这两者开始呈现相互融合的趋势,并且科学技术作为实践中介由于资本主义崇尚的工具理性的扩张对人们思想的影响也越来越大,一些法兰克福的学者甚至提出了科学技术具有意识形态的功能。霍克海默作为法兰克福学派的创
中国经济处于新常态下,经济增长将告别粗放式增长方式。尽管经济增速有所放缓,但同时也呈现出经济结构调整、增长动力转换、发展质量提升的良好势头。在此背景下,北京市消费升级
报纸
中国经济近几十年的成就举世瞩目,发展水平和世界影响力得到空前的提升。来自世界第二大经济体——中国的经验表明,经济的增长与实施对外开放政策密不可分。作为经济交流中枢的银行业,在其中扮演着极为重要的角色,尤其是商业银行国际业务的开展,为经济主体提供了便利,促进对外经济发展,因此,越来越多的商业银行开始重视国际业务。开展国际业务一定程度上能够扩大银行国际影响力,帮助银行占领更大的市场份额,面向国际市场,
介绍使用JAVA编程语言实现一级倒立摆控制系统的仿真途径,并利用Java Applet技术,将仿真程序嵌入网页运行,使实验者可以脱离真实的实验环境,更方便、更快捷地获得实验结果。
为了研究高职新生的心理健康状况,为开展心理健康教育工作提供有效资料和理论依据,笔者对某高职院校新生进行了问卷调查.结果表明,高职新生总体心理健康状况良好,但女生的躯
摘 要:本文对大学教师个人知识管理的必要性进行了分析,提出了其个人知识管理的措施,探讨了大学教师学术自由权的内涵,以供参考。  关键词:大学教师;个人知识管理;学术自由权  个人知识管理主要包括管理个人通过多种途径获取新知识,借鉴并吸取他人的优点和经验,对自己知识的不足加以弥补,更新自身知识结构;利用自身掌握的知识和长期形成的思想观点,吸取他人的知识精华,激发自己的创造能力。在现代信息时代的背景下
近年来,随着人工智能、机器学习等高新技术的快速发展,各类无人平台在全世界范围内得到了广泛的应用。面对任务问题的多样化、复杂化,一个单一的无人平台由于自身智能化水平的局限性无法满足于日益增长的任务需要。因此,研究多无人平台协同控制具有重要的现实意义。本文以地面无人平台和空中无人平台为背景,详细的分析了各无人平台的任务能力,对地面无人平台和空中无人平台的协同进行了系统的整体结构设计,实现了地面无人平台