【摘 要】
：
近年来,基于联合训练的深度聚类方法,如DEC(Deep Embedding Clustering)和DDC(Deep Denoising Clustering)算法,使基于特征提取的图像聚类取得了很多新进展,带来了聚类性能的突破,而且特征提取环节对后续聚类任务有直接影响.但是,这些方法的泛化能力较差,在不同数据集使用不同的网络结构,聚类性能相比分类性能仍有很大的提升空间.为此,文中提出了一种基于自注意力的自监督深度聚类方法(Self-attention Based Self-supervised Deep
【机 构】
：
河北大学数学与信息科学学院河北省机器学习与计算智能重点实验室 河北 保定071002;北京师范大学珠海分校应用数学学院 广东 珠海 519087
论文部分内容阅读
近年来,基于联合训练的深度聚类方法,如DEC(Deep Embedding Clustering)和DDC(Deep Denoising Clustering)算法,使基于特征提取的图像聚类取得了很多新进展,带来了聚类性能的突破,而且特征提取环节对后续聚类任务有直接影响.但是,这些方法的泛化能力较差,在不同数据集使用不同的网络结构,聚类性能相比分类性能仍有很大的提升空间.为此,文中提出了一种基于自注意力的自监督深度聚类方法(Self-attention Based Self-supervised Deep Clustering,SADC).首先设计一个深度卷积自编码器用于提取特征,并且用带噪声的输入数据训练该网络来增强模型的鲁棒性;其次引入自注意力机制,辅助网络捕获对聚类有用的信息;最后编码器部分结合K-means算法形成一个深度聚类器,用于进行特征表示和聚类分配,通过迭代更新网络参数来提高聚类精度和网络的泛化能力.在6个图像数据集上验证所提聚类算法的性能,并与深度聚类算法DEC,DDC等进行比较.实验结果表明,SADC能提供令人满意的聚类结果,而且聚类性能与DEC和DDC相当.总之,统一的网络结构在保证聚类精度的同时降低了深度聚类算法的复杂度.
其他文献
以太坊Solidity智能合约基于区块链技术,作为一种旨在以信息化方式传播、验证或执行的计算机协议,为各类分布式应用服务提供了基础.虽然落地还不足6年,但因其安全漏洞事件频繁爆发,且造成了巨大的经济损失,使得其安全性检查方面的研究备受关注.首先基于以太坊相关技术对智能合约的一些特殊机制和运行原理进行介绍,并根据智能合约的自身特性对一些出现频率较高的智能合约漏洞进行分析,然后从符号执行、模糊测试、形式化验证和污点分析等方面分类阐述了传统的主流智能合约漏洞检测工具.此外,为了应对层出不穷的新型漏洞以及提高漏洞
网格生成是计算流体力学中非常重要的一环,大规模数值模拟过程中对网格精度要求的提高会导致网格生成所耗的时间增加.文中基于OpenFoam开源软件中的网格生成算法,主要研究多面体网格的并行生成,并提出OpenMP和MPI混合并行的多面体网格生成方法.通过理论分析得到,使用混合并行方法生成相同质量的网格时,混合并行方法生成网格的时间消耗随着线程数量和网格单元数量的增加而减少.3组使用不同求解器的数值模拟实验结果表明,该混合并行方法不但可以保证生成网格的质量——可以正常进行数值计算模拟且模拟结果与原方法相比几乎没
利用深度强化学习技术实现无信号灯交叉路口车辆控制是智能交通领域的研究热点.现有研究存在无法适应自动驾驶车辆数量动态变化、训练收敛慢、训练结果只能达到局部最优等问题.文中研究在无信号灯交叉路口,自动驾驶车辆如何利用分布式深度强化方法来提升路口的通行效率.首先,提出了一种高效的奖励函数,将分布式强化学习算法应用到无信号灯交叉路口场景中,使得车辆即使无法获取整个交叉路口的状态信息,只依赖局部信息也能有效提升交叉路口的通行效率.然后,针对开放交叉路口场景中强化学习方法训练效率低的问题,使用了迁移学习的方法,将封闭
用户匹配的目的是检测来自不同社交网络的用户是否是同一个人.现有的研究主要集中在用户属性和网络嵌入上,而这些研究方法往往忽略了用户与好友间的亲密关系.因此,文中提出一种基于好友亲密度的用户匹配算法(FCUM).该算法是一种半监督、端到端的跨社交网络用户匹配算法,其中注意力机制被用于量化用户与好友之间的亲密度.好友亲密度的量化能够提高FCUM的泛化能力.通过在单一目标函数中对用户个体相似性和亲密好友相似性进行联合优化,能充分利用用户个体相似性和亲密好友相似性.文中还设计了一种双向匹配策略,用于解决人工标记匹配
在海量数据呈现爆炸增长态势的互联网时代,传统算法已无法满足处理大规模、多类型数据的需求.近年来最新的图嵌入算法通过学习图网络特征,在链路预测、网络重构和节点分类实践中普遍取得了极佳的效果.文中基于传统自动编码器模型,创新地提出了一种融合Sdne算法与链路预测相似度矩阵的新算法,通过在反向传播过程中引入高阶损失函数,依据自编码器的新特征调整性能,改进传统算法中以单一方式判定节点相似度这一方法存在的弊端,并建立简易模型分析证明优化的合理性.对比最新研究中效果最好的Sdne算法,该算法在Micro-F1和Mac
社区发现算法对分析复杂网络的拓扑和层次结构、预测复杂网络的演化趋势等具有十分重要的意义.传统的社区发现算法划分精度不高,忽略了网络嵌入的重要性.针对这样的问题,提出了基于节点相似性和网络嵌入Node2Vec方法的无参数社区发现算法.首先,使用网络嵌入Node2Vec方法将网络节点映射成欧氏空间中低维向量表示的数据点,计算低维向量表示的数据点之间的余弦相似性,根据相应节点间的最大相似性构建偏好网络,得到初始社区划分,把每个初始社区的最大度节点作为备选节点;然后根据网络平均度和平均最短路径找出备选节点中的中心
在动态的数据流中,由于其不稳定性以及存在概念漂移等问题,集成分类模型需要有及时适应新环境的能力.目前通常使用监督信息对基分类器的权重进行更新,以此来赋予符合当前环境的基分类器更高的权重,然而监督信息在真实数据流环境下无法立即获得.为了解决这个问题,文中提出了一种基于信息熵更新基分类器权重的数据流集成分类算法.首先使用随机特征子空间对每个基分类器进行初始化来构建集成分类器;其次基于每个新到来的数据块构建一个新的基分类器来替换集成中权重最低的基分类器;然后基于信息熵的权重更新策略实时对基分类器中的权重进行更新
评论文本中蕴含着丰富的用户和物品信息,将其应用于推荐算法有助于缓解数据稀疏问题,提高推荐准确度.然而,现有的基于评论的推荐模型对评论文本的挖掘不够充分和有效,并且大多忽视了用户兴趣随时间的迁移和蕴含物品属性的物品描述文档,使得推荐结果不够准确.基于此,文中提出了一种基于深度语义挖掘的推荐模型(Deep Semantic Mining based Recommendation,DSMR),通过深度挖掘评论文本和物品描述文档的语义信息,更精确地提取用户特征和物品属性特征,从而实现更准确地推荐.首先,所提模型利
大规模高维不平衡数据是异常检测中的重大挑战.单类支持向量机在处理不平衡数据方面非常有效,但不适合大规模高维数据,同时单类支持向量机的核函数对检测性能也具有重要的影响.文中提出了一个深度自编码器与单类支持向量机相结合的异常检测模型,深度自编码器不仅负责提取特征和降维,同时拟合出了一个自适应核函数.深度自编码器与单类支持向量机共享损失函数,实现了端到端的训练.作为一个整体,模型采用梯度下降法进行联合训练.在4个公开数据集上与其他异常检测方法进行了对比实验.实验结果表明,在AUC以及召回率(RECALL)方面,
近年来,图神经网络在神经性脑疾病诊断中的应用引起了广泛关注.然而,现有研究中使用的图通常只是基于简单的点对点连接,无法反映3个或更多受试者之间的复杂关联,尤其是在多中心数据集中,即由不同医疗机构所使用的不同采集设备和不同受试人群而集成的具有异质性的数据集.为解决医疗影像数据中存在的多中心异质性问题,提出了一种多中心超图数据结构来描述多中心数据之间的关系.这种超图由两种不同的超边构成,一种是描述单个中心内部关系的中心内超边,另一种是描述不同中心之间关系的跨中心超边.另外,还提出了一种超图卷积神经网络来学习节