随着计算机网络和Internet技术的广泛应用和发展,软件安全问题越来越受到重视。代码迷惑作为一种事前保护机制对程序进行变换,使其在保持功能不变的情况下更加难以分析和理解,是一种低成本技术,是保护程序免遭恶意攻击的代表性方法之一。随着应用环境的日渐复杂及攻击手段的发展,单一的代码迷惑方法已无法满足软件保护的要求。因此,开发更有效更强大的迷惑技术,保证数据机密性和程序的安全执行具有重要的现实意义。而代码迷惑在保护软件的同时,也被恶意软件编写者利用,通过代码变换构造多态病毒和变体病毒,以阻碍检测器对恶意代码的分析和检测,给现有的恶意软件检测技术带来了新的挑战。如何有效地判定迷惑恶意软件,做到不误报和漏报还需要作进一步深入研究。本文主要从以下几个方面进行研究:(1)利用数据求精对矩阵数据类型进行迷惑。将迷惑看作函数式求精,建立了证明迷惑操作正确性的方程。定义了矩阵分割方法,通过改变矩阵的形式隐藏矩阵信息。结合分块矩阵的性质,利用函数式语言建立了相应的矩阵标准操作的迷惑框架,其迷惑方法不改变操作的复杂度。此外,应用矩阵进行纯量及其算术运算的迷惑。根据矩阵行列式的性质定义抽象函数和转换函数,给出了算术操作的迷惑定义,实例证明了迷惑的正确性。该方法可以灵活定义某些矩阵元素,对纯量提供有效地迷惑。(2)对于大型数据库机密数据的迷惑。将数据扰动和询问约束相结合,提出了一种有效的混合保护技术。建立求解最优询问子集的数学模型,使其能够被准确回答,并利用拟阵交集贪心算法得到近似解。对其余询问设计了两个随机数据扰动方法,生成扰动数据库,提供与准确回答一致的扰动回答,且比标准扰动方法能提供更准确的回答。基于扰动数据给接近原始询问的附加询问提供准确回答。该方案既能在不泄露机密数据的情况下最大化准确回答的询问集,又能保证扰动后的数据不影响准确回答的结果,适用于数值型数据和分类数据的线性和非线性询问。(3)在已有的控制流图压平的基础上,引入分支函数和转移函数,建立了加强的压平控制流模型以防静态分析。提出了三种应用模型,并利用攻击方案评估模型的强度。同时针对动态逆向工程给出了代码块多样化的迷惑算法,并对其性能进行了评估。结果表明,该迷惑方法既能有效的防止静态逆向工程,又能限制动态分析的影响,大大降低代码重构率。(4)基于语义的迷惑恶意代码静态分析。定义了一种高级语言Malspec,以与迷惑无关的方式描述恶意行为。使用Malspec给出语义匹配的条件。构建了用于检测可执行文件恶意模式的静态分析器结构,以及抗迷惑的恶意代码检测算法。该分析器能够有效、安全的对可执行文件进行静态分析,与其他病毒检测器相比,耐受常见的迷惑变换。(5)将基本块功能作为恶意代码特征,结合控制流图,针对迷惑的恶意代码提出了更细粒度的检测方法,建立了检测方法框架。基于编译器优化算法,整合内存子变量优化,表达式形式化以及交叉基本块传播,设计了特征计算算法抽取恶意代码段特征。定义了形式化规则,将赋值表达式语句形式化,以便于比较两个表达式的功能。提出了检测算法,从控制流图和基本块两方面检测程序是否为迷惑恶意软件实例。实验结果表明,该方法能够有效地检测之前的算法无法检测出的迷惑恶意代码。同时避免了将具有相同结构但功能不同的代码误认为是恶意代码。本文从代码迷惑所涉及的数据迷惑和控制流迷惑两方面出发,针对抽象数据类型和大型数据库机密数据信息提出了新的迷惑方法,实现了隐藏控制流的防静态和动态逆向分析的控制流迷惑方案。构建了恶意代码静态分析框架和检测方法,为解决由迷惑恶意代码所造成的检测结果为“假阳性”和“假阴性”问题提供了新的研究思路。