近几年,互联网的普及给人们的生活带来了极大的便利,各类软件层出不穷,数量爆发式增长,随之也带来大量问题,如代码剽窃、恶意代码肆意等。为解决这类问题,逆向工程成为一项必不可少的技术,通过识别逆向后的未知代码与已知代码的重复或相似片段,可以检测软件侵权、恶意代码变种等问题。然而,由于各种混淆工具越来越成熟,即便逻辑相似的程序,经过工具混淆后,逆向出的反汇编代码不论在操作码还是程序结构上都差别甚大。现有的二进制相似性检测技术,如判断控制流程图同构、最长公共子序列判断文本相似等,已不能抵抗混淆工具的攻击。因此,研究一种抗混淆的二进制克隆检测方法成为软件版权保护领域的重要方向。设计并实现了一个针对C语言的抗混淆二进制克隆检测系统。首先,对混淆后的二进制进行逆向,将函数转换为能描述其功能特征和混淆特征的数字向量,包括控制流程图特征、描述流程图基本块的操作码特征和常量特征,即将控制流程图(Control Flow Graph)转换为属性特征控制流程图(Attribute Control Flow Graph)。其次,使用XGBoost算法学习不同混淆策略的向量特征,并保存模型用于对未知混淆策略的向量分类检测。随后,对于不同的混淆策略,系统对特征向量进行针对性的脱壳处理,并基于曼哈顿距离算法设计了更适合本系统的相似度计算方法,用于对脱壳后的特征向量克隆检测。最后,针对系统的实际情况,对XGBoost模型参数进行了优化,提升了分类检测精度。对抗混淆克隆检测,相比于传统代码克隆检测算法,以及近来流行的自然语言处理算法,系统在性能、准确率及可扩展性上都有较大的优势。实验结果表明,数据集21249个函数,XGBoost模型学习时间约24s,平均检测速率41us/func;XGBoost算法分类检测精度达87.56%,优化后达88.80%;对指令替换、控制流平展和虚假控制流三种常见混淆方式,克隆检测准确率分别达99.50%、89.44%和77.16%。由于系统的特征提取、分类及向量相似性计算方法设计,系统支持可检测混淆策略的扩展。