代码克隆检测是软件工程领域的一项重要课题,作为基础设施支持软件质量评估、bug检测、复用检测等工作。随着软件的持续开发和发展,代码仓的体量呈现逐年增加的态势,基于Token的克隆检测方法在大型代码仓表现出良好的时间性能,因而越来越受到重视。然而,由于缺乏程序的语法及语义信息,传统基于Token的方法在差异克隆（Type-3,4）上存在检出率不高的问题。为此,本文从程序的抽象语法树（AST,Abstract Syntax Tree）中抽取Token的语法及语义信息,并发展快速且有效的差异克隆检测方法,同时相比于基于AST及PDG（Program Dependency Graph）的方法有更低的时间开销。本文主要工作和贡献如下:（1）赋予Token语义的方法设计针对传统基于Token的克隆检测方法仅利用文本信息,而缺失程序语义的问题,本文从抽象语法树入手,分别设计一种简单的语义提取方法,和另一种更为精确的语义提取方法。在简单的语义提取方法中,仅考虑程序的语法结构信息。首先生成程序的AST并对其进行规约简化;然后对位于叶子节点的每个Token,用AST路径来建立其语义信息,并将其编码为一个向量。在精确的语义提取方法中,除了包含前面的语义信息之外,还包含Token的角色和它们之间的数据依赖。首先从AST规则文件中分析Token的角色以及数据依赖关系;然后对存在数据依赖的Token生成n-grams序列,从而捕获程序的数据依赖特征。实验结果表明,简单的语义提取方法花费更少的时间提取语义信息,精确的语义分析方法相比简单方法在克隆案例中能更好地建模语义特征,检测更多的差异克隆对。（2）克隆检测方法设计及工程应用接下来,本文使用赋予语义的Token,设计全新的验证算法,提升在差异克隆上的检测效果,同时对已有Token方法的定位和过滤过程进行优化,加速克隆检测的过程。在定位阶段,对函数和类型名角色的Token建立索引表,快速定位候选代码块;在过滤阶段,根据代码块的规模、函数和类型名Token的覆盖率设计过滤策略;在验证阶段,设计多轮匹配算法计算语义Token之间的相似度,验证克隆对的真伪。实验结果表明,在业界公认的数据集BigCloneBench上,本文方法在文本差异较大的Moderately Type-3克隆上显著优于先进工具（包括SourcererCC、CCAligner、Deckard等）,在差异较小的Type-1,2等克隆上与其效果相当。同时在大规模数据集上相比于AST、PDG方法呈现更好的时间性能。本方法已集成到某IT头部企业软件克隆检测项目中,用户反映良好。