随着软件复杂度增加,软件出现错误的概率也逐渐增大,软件安全漏洞数量持续增多,网络空间安全形势日趋严峻。模糊测试作为一种快速、高效的漏洞挖掘技术日益受到安全研究人员的广泛关注,但现有许多漏洞挖掘方案都是针对源代码插桩编译的二进制程序,而对于无源代码二进制程序却不能达到预期的漏洞挖掘效果。研究者们通过引入符号执行、污点分析、机器学习等技术与模糊测试技术相结合以提升新生成测试用例的质量,尽管这些技术在一定程度上能够缓解面向无源码二进制程序进行模糊测试时代码覆盖率低的缺点,但新技术引入的同时,也会从不同角度给模糊测试系统带来另外的挑战,例如符号执行带来的路径爆炸问题、动态污点分析带来的内存和性能消耗问题。为解决无源码模糊测试中难以通过输入验证、种子变异不智能和代码覆盖率低的挑战,在引入新技术的同时兼顾漏洞挖掘效率,本文以初始种子生成和模糊器变异策略为着手点,基于模糊测试面临的“难以通过输入验证、如何变异生成更好的测试用例、如何提升代码的覆盖率”三大关键挑战,利用静态分析、动态分析、生物遗传变异等提出三项测试用例生成优化技术。本文主要工作与贡献如下:1、提出并实现基于轻量级动态污点分析的种子文件生成技术。针对当前模糊测试系统种子语料变异生成的测试用例对复杂逻辑代码块渗透能力弱、覆盖率低的问题,首先对现有模糊测试系统的解决方案进行分析研究,在调研分析的基础上,引入轻量级动态污点分析技术启发式的生成初始种子集,从而快速的产生有价值的测试用例。本文通过轻量级动态污点分析技术快速有效地生成高质量初始种子文件,进而提升模糊测试系统新生成测试用例的代码覆盖率。2、提出并实现基于静态分析的魔术字节绕过技术。针对当前黑盒模糊测试技术变异策略的盲目性、无法获取目标程序内部详细信息、无法通过校验保护并执行深层次路径的问题,引入静态信息获取技术提取指令类型及其对应的操作数内容,经过对获取到的静态信息进行过滤和清洗,将静态信息传递到模糊器的变异阶段,从而提升测试用例绕过程序内部复杂校验的速度。3、提出并实现模糊测试测试用例智能优化技术。针对当前黑盒模糊测试技术中单维变异策略面临难以绕过应用程序中复杂校验和验证的问题,提出基于基因突变与交叉互换的多维变异策略提升测试用例的歧异度,从而避免模糊器长期陷入某一代码块进行无意义的变异。针对多维变异策略的调用问题,本文引入粒子群优化算法对不同的变异算子进行调度。针对模糊器长期执行高频分支而错过对有效低频分支执行的问题,本文引入稀有分支优先的输入队列文件选择策略,提高探测到稀有分支输入文件的性能评分。最后设计并实现面向模糊测试的测试用例生成优化技术原型系统Ex AFL,在LAVAM、CGC和真实程序三种不同类型的数据集上对系统进行综合评估,验证本系统具有轻量级、高效、代码覆盖率高等特点。实验证明Ex AFL能够快速准确的检测到二进制程序中的漏洞,发现较多的独特崩溃。