近年来,随着计算和存储能力的高速增长,以符号执行为基础,综合运用动态插桩、污点分析和约束求解等技术的软件自动分析技术得到了长足发展,已经在逆向工程领域得到了广泛使用。以符号执行为基础的软件自动分析技术,通过对软件执行过程中泄露的路径分支信息进行分析和处理,就可以还原软件的内部逻辑关系,因此该技术的出现,降低了逆向工程的难度,提高了逆向的效率,使得软件知识产权保护面临着新的严重威胁。路径分支混淆是一种以保护路径分支信息,对抗符号执行为目标的一种代码混淆技术,其能有效阻断软件路径分支信息泄露,对抗以符号执行为基础的软件自动分析技术。当前,在路径分支混淆的研究上取得了一系列的成果,对分支信息泄露取到了一定的遏制作用,但是依然存在一些制约路径分支混淆发展和应用的问题有待研究。本文对分支混淆的分类、分支混淆中的条件异常代码构造、分支混淆的还原和改进、分支混淆在浮点数比较路径分支上的扩展、分支混淆和代码加密的结合等问题进行了研究,得到相关结果如下:1、对分支混淆进行了总结和分类;提出了一种分支混淆中新的条件异常代码构造方法,提高混淆的隐蔽性和对抗性。综合分析和研究了当前路径分支混淆技术,按照混淆变换对象的不同,把分支混淆总结为三个分类,对三个分类的分支混淆技术的优缺点做了分析和总结。详细介绍了当前分支混淆研究的进展,分析了分支混淆的未来发展趋势。在基于分支控制方式变换的分支混淆中,由于当前条件异常代码的构造方法会导致关键数据二值性问题,降低了混淆的隐蔽性和与符号执行的对抗性,通过引入关键数据随机化的构造方法,并使用结构化异常处理替代分支选择的控制方式,提高了混淆的隐蔽性和与符号执行的对抗性。2、基于分支混淆抗还原的重要性,研究了分支混淆的还原和改进。首先,针对基于保留前缀加密的分支混淆中,其混淆算法具有一定缺陷,针对混淆算法的缺陷,提出了一种针对混淆算法的混淆还原攻击方法,实现了基于保留前缀加密分支混淆的还原;并进一步对该分支混淆的混淆算法进行改进,通过使用哈希值比较替代前缀匹配的方法实现了分支混淆,使得改进后的分支混淆能够更好的对抗混淆还原,并且保证了该混淆在与符号执行的对抗中具有高强度的对抗性;改进后的方法在混淆消耗上与改进前相当,即在不增加混淆消耗的条件下提高了混淆性能。其次,针对分支条件中分支输入集合具有连续性和有界性的普遍特点,提出了一种基于二分法的混淆还原攻击方法,在单边界分支上实现了混淆还原;针对混淆易被攻击的缺点,对分支混淆进行了改进,通过对分支输入值进行区间拆分、缩放,使得分支的输入区间不在具有单边界特征,提高分支混淆的抗还原攻击特性,且混淆消耗增加较少。3、基于当前的分支混淆技术不能应用到浮点数比较分支的问题,提出了一种适用于浮点数比较分支的混淆技术。通过分析和研究浮点数存储结构与浮点数大小之间的关系,证明了浮点数区间内的任意数值与该浮点数二进制数据区间对应的前缀集合之间具有前缀匹配关系。基于该匹配关系,首先利用前缀匹配关系替代浮点数大小关系,再利用前缀哈希值比较替代前缀匹配,即利用前缀哈希值比较替代浮点数比较的方法实现分支混淆。通过分析和实验证实,该方法消耗较低,混淆性能较好,具有较好的实用价值。4、针对分支混淆和条件代码加密结合的条件代码加密技术仅能应用于等于比较分支的局限,以及对多个等于比较形成的复合分支条件下该技术消耗较高的问题,利用本文改进后的分支混淆,结合拉格朗日插值法和密钥生成调整算法,解决了多输入分支中的密钥和程序执行逻辑结合的问题,降低了多输入分支条件代码加密的消耗;把条件代码加密的应用分支范围从等于比较分支扩展到整数和浮点数的大小比较分支、以及等于比较和大小比较复合成的复杂分支。通过分析和实验数据证实,新的条件代码加密应用范围扩大,但消耗增加不大,具有较好的应用价值。