基于骨干粒子群算法的中文文本聚类研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:wang8550cimc
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来随着互联网科技与技术的快速发展,数据所携带的信息也越来越多,如何从这些大量的数据中发现有用的信息与期望的规律是亟待解决的问题,由此产生数据挖掘这门学科。作为数据挖掘中的关键技术之一的聚类算法,它主要用于在未知类的数据集合中发现并归纳出不同的类,在面对大量的非结构化数据时,文本聚类逐渐成为学术研究和人们关注的热点问题之一。由于文本数据具有高维、稀疏、非结构化等特点,不同的特征选择方法对聚类的效果有着重要的影响。近年来,群智能算法由于其良好的寻优能力和全局搜索能力得到了深入的研究,且被广泛应用于许多领域,并取得良好的效果。本文的研究目的、方法与结果如下:1、深入研究骨干粒子群算法(Bare Bones Particle Swarm Optimization,BBPSO),针对骨干粒子群算法的易于早熟,易陷入局部最优解等缺点,提出了一种基于冯诺依曼拓扑结构的改进骨干粒子群算法(Von Neumann BBPSO,VBBPSO)。该算法提出“兼顾落后粒子”的概念,应用冯诺依曼拓扑结构构造邻域,运用邻域最优解取代全局最优解。此外,该算法引入中心项调节系数,在邻域范围内调整BBPSO算法的进化中心项与离散控制项,提高算法的全局搜索能力与局部开发能力。2、系统性的分析文本聚类问题的难点,文本向量化后数据维数较高,数据空间的分布较为稀疏,空间向量之间会存在潜在的语义结构。而传统的K-means算法难以准确地预设初始聚类的数目K,聚类结果受初始中心影响,造成对噪声点敏感,聚类不稳定等缺点。针对以上问题,本文结合奇异值分解(Singular Value Decomposition,SVD),提出了一种改进的K-means中文文本聚类算法(SVD-Kmeans)。该算法首先根据SVD分解的物理意义对数据集进行粗糙的类型判别,同时利用其数学意义对文本数据进行平滑处理,将类型判别后的类别作为K-means算法的初始聚类的中心点。3、针对文本向量空间高维、稀疏等特点,将VBBPSO算法应用到中文文本特征选择中。首先将文本向量进行编码把离散问题转化为线性问题,并为文本聚类特征选择算法设计出新的适应度函数。其次,利用改进的骨干粒子群算法进行寻优,将选出的全局最佳粒子进行解码,从而确定选出的文本特征。最后,根据选出的文本特征向量,利用SVD-Kmeans算法进行文本的聚类。聚类结果显示VBBPSO算法用于文本的特征选择能有效的优化聚类质量,同时对大部分聚类算法都有一定的效果。
其他文献
目的:通过对调更汤联合耳穴治疗更年期综合征的有效性和安全性观察,为临床治疗更年期综合征提供安全有效的中医药治疗方案。方法:本研究的90例样本分别从上海中医药大学附属龙华医院、上海市第六人民医院收集。将龙华医院收集的病人按照1:1进行随机分组治疗,即中药组30例,中药+耳穴组30例,将第六人民医院收集的病人纳入西药组,即西药组30例。中药组予调更汤治疗,中药+耳穴组予调更汤及耳穴治疗,西药组予芬吗通
人类为了取得有使用价值的资源,达到自身发展的目的,不断地改造着地球表面环境,呈现现出多样的土地利用方式。林地资源变化是森林生态系统服务功能变化的重要驱动力,分析区域
目的比较生远志、制远志和蜜远志饮片的药效学差异。方法选取昆明种小鼠,随机分组,按体重给药,高剂量组为含生药量4g/kg,低剂量组为含生药量1g/kg。采用氨水引咳实验、小鼠气
"五十六个民族,五十六朵花"体现了我国是一个多民族国家,每个民族都有自己独特的魅力,像花儿一样千姿百态,争奇斗艳。维吾尔族民间舞蹈有着既可刚烈又可柔美的舞蹈姿势,具有
第一部分脑卒中筛查目标人群低睡眠质量的患病现况及危险因素分析目的:比较脑卒中筛查不同目标人群低睡眠质量检出率的情况。方法:采用横断面研究的方法,收集2016年脑卒中筛查调查对象4716例,纳入年龄≥40岁并完成匹兹堡评分者,排除患有严重系统性疾病、恶性肿瘤等明显影响生活质量和预期寿命疾病者。PSQI评分>7分为低睡眠质量。用χ2检验分析各组人群中低睡眠质量检出率的差异。低睡眠质量的相关危险因
易读性作为测试文章难易程度的工具,在帮助教师选择和评价英语教材上发挥着重要的作用。运用易读性时常用计算式、计算步骤和参考量表,对人教版高中英语教材(NSEFC)阅读文本
绿色消费正在成为国际消费新潮流。绿色消费导致绿色营销成为国际市场营销的主要内容。我国的绿色营销还处于起步阶段,除了要提高企业的绿色营销能力外,要特别重视加强政府有关
尽管民族院校拥有得天独厚的自然环境与人文环境,但大学生对田野调查的重要性认识不够,田野调查需要亟待建立一个有章程、有目的的大学生田野调查协会,利用本院学生分布广、
“十二五”时期,我国经济社会发展取得了新的重大成就,经济总量稳定增长,经济结构持续优化,人民生活明显改善。但在社会经济向前发展的同时,也存在很多问题。其中,地区经济发
目的对下肢静脉曲张的微创治疗研究进展进行综述。方法广泛查阅近年国内外下肢静脉曲张的微创治疗相关研究文献,并且进行综述分析。结果静脉激光腔内灼闭术适用于大隐及小隐