数据流中频繁项挖掘算法的研究

被引量 : 0次 | 上传用户:cai8211306
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的快速发展,流数据在网络流量的监测、金融应用、通信数据管理、网络安全监控、传感器网络等很多不同领域得到了广泛应用,在这些应用中对新型的流数据形式以及相关技术进行研究显得非常重要。与传统的静态数据不同,流数据是连续的、无限的,通常以很高的速度到来,并且数据分布随着时间而改变。传统的对数据进行挖掘挖掘算法已经难以适用于流数据,因此,对流数据上确定及不确定数据进行有效地挖掘是数据挖掘领域的一个研究热点。本文对目前国内外流数据频繁项挖掘所使用的主要算法进行了研究,包括衰减系数、哈希函数、滑动窗口、不确定数据等内容的主要技术和算法,针对其中存在的问题,提出了更为有效的算法。本论文的主要工作如下:(1)提出了一种基于衰减系数和Hash函数的数据流中频繁项挖掘算法现有的大多数的数据流频繁项挖掘算法并没有能强调当前数据的重要性。我们采用衰减系数的方法,给出强调近期数据而弱化“旧”数据重要性的时间衰减模型。提出了一种挖掘数据流中频繁项的新算法λ-HCount。该算法使用时间衰减系数λ来强调较新数据的作用,并利用r个不同的Hash函数对流中的数据项进行计数,从而在流数据中挖掘频繁项。设共有M个不同的数据项,S为频繁项密度的阈值,λ-HCount可以大于或等于p的置信度在数据流中挖掘s-近似频繁项,所需空间复杂度是e/In(-M/Inp)+r/s-ε而算法处理一个数据项的时间复杂度为o(1)。我们在人工数据集和真实数据集上对该算法的实验测结果证明了我们的算法比其他类似算法具有较高的精确度,使用较少的内存。(2)提出了一种基于不等长窗口的流数据频繁项挖掘算法我们提出了一种基于灵活的计数器窗口在流数据中挖掘近期频繁项的算法FCW_MRFI。FCW_MRFI算法可以在给定长度为L的近期流数据中的任意窗口挖掘频繁项,同时根据给定的计数器数组的个数m划分近期流数据,使得在较近的窗口中查询的误差较小,而且使得在整个近期流数据中的最大查询误差尽可能地小。我们使用人工数据集和真实数据集做了大量实验比较了算法的召回率及精度,实验表明本文所提出的算法与同类算法相比明显提高了数据流中挖掘近期的频繁项的精度。(3)提出了一种基于流数据上不确定数据的频繁项查询算法针对流数据中不确定数据的特点,我们提出了一种查询数据流中不确定数据的频繁项的新算法SMFUD。该算法采用滑动窗口的方法在流数据上挖掘不确定频繁项,通过剪枝策略及有效地动态规划方法极大的减少了候选集。基于滑动窗口中可能实例的概率求解规律巧妙的删除“旧”元组、添加新元组,降低了算法的时间复杂度。我们通过实验证明该算法可以有效地减少候选集,降低空间复杂度,提高了频繁项的查询速度。
其他文献
对外直接投资、逆向技术溢出属于国际技术溢出研究领域的一个分支。对国际技术溢出现象的研究源自技术对一国经济发展的重要性以及世界经济一体化程度的日益加深。在国际竞争
取自强化A/O工艺处理合成氨废水中试装置的活性污泥,在pH、碳源和温度均不为限制性因素条件下,短程反硝化和全程反硝化均为零级反应.结果表明,相对于全程反硝化,短程反硝化可
目的探讨影响眼肌型重症肌无力(myasthenia gravis,MG)临床预后的相关因素。方法回顾性分析2008年7月至2010年9月我院收治的203例眼肌型MG患者,根据治疗后6~32个月临床预后分
科学技术是第一生产力,科技的迅猛发展带来了经济的快速增长,但其对就业的影响却是言人人殊。有关技术进步对就业影响的实证分析结果中,有些显示为正效应,有些显示为负效应,有些则
发达国家农产品物流基础设施和设备发达、物流技术先进,物流主体组织化、规模化高,物流渠道短,批发市场作用突出,重视物流人才培养,政府政策支持度高,对发达国家农产品物流发
通过研究苯储罐区的环境风险识别,对罐区发生泄漏、火灾及爆炸等风险事故进行后果计算,估算罐区苯扩散的影响及范围,为事故应急处理及有毒物质风险管理提供科学依据。泄漏事
将采用化学镀铜膜技术封装的长周期光纤光栅(LPFG)串入环形腔中,设计了一种新颖的波长可调谐掺Er3+光纤激光器(EDFL)。铜镀膜(化学涂镀)的LPFG在激光器环腔中用作带阻滤波器,
《红楼梦》是中国古典小说的巅峰之作,红学则是对小说本身及其相关话题(如曹学、脂批、版本、探佚、索隐等)的研究。其中,《红楼梦》翻译及对外传播研究也是红学的有机组成部分,为
<正>蒙古族图案和图形是蒙古族民间美术的重要组成部分。遍布蒙古高原的民间美术是民俗文化不可分割的组成部分,是哺育滋养蒙古族文化艺术的母体艺术之一。蒙古民族在长期生
时下,相亲节目作为荧屏上最为火爆的电视娱乐节目之一,在社会上受到了广泛的关注。江苏卫视《非诚勿扰》更是凭借精良的节目制作、敏感话题的成功引爆、多种媒体联合宣传等方