随着计算机行业的快速发展,各式各样软件的出现使得人们的生活变得更加智能化,但与此同时也出现了许多隐藏的安全威胁。许多恶意攻击者们会通过漏洞植入恶意行为来窃取用户隐私信息等实现其不合法目的,随着代码混淆工具的越发成熟,更多的混淆技术被恶意攻击者用于恶意软件躲避安全防御系统的检测查杀,这极大增加了逆向分析的难度和开销。基于对抗生成网络（GAN）的抗混淆二进制相似性检测模型,能够生成绕过当前抗混淆检测模型检测的混淆攻击,并通过交替训练提升检测模型的鲁棒性和准确率。首先,设计并实现了两种新的抗混淆特征提取方案,对原二进制文件和混淆后的二进制文件进行逆向处理,得到汇编代码并基于函数粒度提取汇编指令等体现函数功能与特性的特征向量以及函数功能控制流程图特征（ACFG）。其次,设计了一个基于图对抗生成网络的混淆函数特征生成模型,依据给定函数能够生成绕过检测模型的新混淆函数属性控制流程图丰富了混淆手段的多样性,此外,设计了新的抗混淆二进制相似性检测算法,相较于传统抗混淆相似性检测算法以及近来常用的神经网络检测算法,基于跨图注意力机制的相似性检测算法能够提取图更丰富的结构和语义信息,检测性能、准确率都得到很大提升,同时该框架具有较高的可迁移性,可用于提升不同抗混淆相似性检测模型的准确率。实验结果显示该框架能够普遍提升传统的抗混淆相似性检测模型准确率,对于常用的指令替换、控制流平展、虚假控制流三种混淆策略,模型最优检测精度可达99.4%、96.7%、96.9%。与传统的混淆生成算法相比,使用GAN网络生成的新样本能够将当前检测模型检测率降低到接近于零,同时极大丰富了混淆特征的多样性,使得普通的混淆机制无法逃避检测模型的查杀。