基于复杂网络的网络大数据聚类应用研究

来源 :兰州交通大学 | 被引量 : 0次 | 上传用户:cuitlcm
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
本文以网络大数据为研究对象,分析大数据的特性,得出复杂网络是网络大数据的重要组成形式,而复杂网络中社区结构的发现与聚类算法具备天然的相似性。因此本文即运用复杂网络的方法来解决网络大数据的聚类问题。本文通过分析网络大数据的特性得出网络大数据所形成的复杂网络节点数较多,规模较大,并且网络大数据的聚类对是时间要求较高,所以全局发现算法不适合于网络大数据的聚类。因此本文从局部发现的角度出发来进行网络大数据的聚类研究。提出了基于局部关键节点的大数据聚类算法。首先,引入局部关键节点的思想,结合全局关键节点的发现方法,提出了局部关键节点的发现方法。然后,将局部关键节点与其邻居节点组成初始社区,并用推导后的适应度公式向外进行扩张得到最终社区。然后分析大数据集的特性,得出在大数据集中往往一个社区内有多个关键节点,因此,从局部关键节点根据适应度公式向外逐个节点的扩张就可能导致其他的关键节点被排除在外,并且关键节点与其邻居节点组成初始社区就有可能将相邻社区的节点加入进来导致聚类结果质量下降。针对这两点不足,提出了基于局部关键社区的大数据聚类算法,通过引入极大团的概念和进一步对适应度公式进行改进来提高聚类结果质量。首先,分析极大团的特性,得出极大团是社区内联系最紧密的一组节点。所以由此可以判定,极大团的所有节点都在一个社区内,一个社区内规模最大的极大团则是这个社区内最大团即是这个社区的最核心的类别,也是整个社区的极大类。因此,可以将局部关键节点的发现方法和极大团的发现方法相结合来发现局部关键社区。这样可以将数据集分为局部关键社区和普通节点两个部分。由于原适应度公式只能适合单一节点向外扩张,而现在需要将较小的关键社区加入到社区中,因此对适应度函数进行改进。然后,以规模最大的局部关键社区为初始社区运用改进后的适应度公式向外扩张得到最终社区。最后在真实数据集上进行检验,证明算法具有可行性并且能减少时间消耗。接着分析所提出算法的组成部分,提出对应部分的并行策略和总体算法的并行策略,并在真实数据集上进行验证。结果证明提出的并行策略在不影响结果质量的前提下有效减少时间消耗,在大规模的数据集上尤为明显,并与并行线程数成正比。说明提出的并行策略适用于网络大数据的聚类。
其他文献
随着社会经济的发展,现代建筑结构朝着高层化、大跨化、重载化的方向发展,同时还需要具备良好的耐久性能,抵抗外界恶劣环境的影响。本文分析了前人在活性粉末混凝土、钢管混凝土、钢管活性粉末混凝土、碳纤维布约束混凝土、碳纤维布钢管混凝土等方面的研究概况后,对CFRP-钢管活性粉末混凝土试件进行了试验研究。主要从以下几个方面展开:(1)测试了RPC立方体的抗压强度、劈裂抗拉强度;RPC棱柱体的轴心抗压强度、应
随着经济社会的发展,畜禽集约化养殖规模不断扩大,造成的污染问题日趋严重。氨气是养猪场排放臭气中的主要成分,在大气中可存在1~10 d,对周围环境可产生严重污染。笔者根据我
本研究以我院信息化环境下汽车专业群创新创业型人才培养的范式研究为研究对象,探索构建符合我院汽车专业群特点的信息化教学与创新创业融合方式,提出一系列信息化教学与创新
<正>财务工作在工会全局中承担着服务和保障重任。在新形势、新任务、新要求下,承担工会经费收缴、使用、管理重要职能的财务管理部门,只有充分发挥思想政治工作引领作用,坚
<正>~~
会议
目的 探讨结肠癌伴发急性肠梗阻个体化术式选择和相关并发症的处理.方法 右半结肠癌致急性肠梗阻实施肿瘤一期切除肠吻合手术,侵犯十二指肠者行回肠横结肠吻合短路术.左半结
研究日粮中添加薄荷提取物对肥育猪采食量、体型及血液生化指标的影响。试验采用单因子设计,选取体重70kg左右的杜大长三元杂交猪270头,随机分成5组,每组3个重复,每个重复18头。
较全面地介绍了日本精细陶瓷的研究、开发及部分产品的生产情况。重点对氮化物陶瓷(Si_3N_4、AlN、BN),氧化物陶瓷(Al_2O_3、ZrO_2、Al_2TiO_5、A_3S_2、MAS),碳化硅陶瓷,硼
Zn是应用最广泛的金属之一,由于在大气环境下具有较高的耐蚀性,因此经常在钢铁腐蚀防护工程中用于制作耐蚀性涂层。Zn的腐蚀与大气环境密切相关,对含有Cl-和/或SO_2的高温高湿大气极为敏感。在大气环境下,根据腐蚀时间的长短可将Zn的腐蚀分解为两个过程:在液滴下的初期腐蚀过程和在薄液膜下的长期腐蚀过程。同时,Zn在液滴下的初期腐蚀行为将对长期腐蚀造成影响。本研究主要关注Zn及镀锌钢在模拟环境下的腐蚀
城镇化进程的加快导致民众对住宅的刚需进一步扩大,一些城市的商品住宅价格急剧飙升,日益凸显的“高房价”已然引发了全社会的密切关注。探讨商品住宅价格的时空衍化规律,对