在计算机应用技术与网络通信技术飞速发展的信息时代,密码算法在保障信息安全方面发挥着举足轻重的作用,识别与分析二进制代码中的密码算法,对于恶意代码检测、非法通信监控、密码破译和密码应用安全性分析等方面具有重要意义。针对现有密码算法识别与分析技术存在的效率低、准确性不高、有效识别信息少等问题,本文开展了相应关键技术研究,论文主要工作及成果概括如下:1.分析了不同类型密码算法(Hash函数、分组密码、公钥密码和流密码)的加解密体制,构建了多层次的密码算法特征空间模型,并采用反汇编工具IDA和基于Pin的动态二进制分析平台,分别在二进制层次、反汇编层次和动态执行层次进行特征分析与识别,为密码算法识别与分析奠定了基础。2.针对密码算法代码反汇编结果中的结构循环特征,通过引入基本块节点遍历状态的概念,设计了基于改进DFS的结构循环识别算法;针对密码算法动态执行过程中序列循环,通过引入循环体标识集合,设计了基于归约的序列循环识别算法(RSLA),并结合动态指令流和基本块流中的回向边,提出了改进的序列循环识别算法(I-RSLA);针对密码算法内存操作数据的高信息熵特征,提出了基于滑动窗口的格式化信息熵度量方法,构建了基于循环模式的信息熵特征识别模型。测试结果表明:结构循环与启发式策略相结合的疑似密码函数筛选能够有效地缩小分析范围,在以动态基本块为基本粒度的序列循环检测过程中,I-RSLA算法在识别效率和内存峰值消耗上都明显优于RSLA算法;此外,基于循环模式的信息熵特征识别模型能够对密码函数高熵值特性进行有效识别。3.针对密码函数在动态执行过程中体现出的启发式特征属性,通过特征抽取构建了以动态特征为主体的八维密码函数特征向量,提出了不同粒度的密码函数筛选与分类策略;针对密码函数筛选问题,在对经典SVM模型研究的基础上,结合密码函数特征及实际工作需求,构建了基于One-Class SVM的密码函数筛选模型,该模型以漏选概率最小化为目标函数;针对密码函数分类问题,在对密码函数筛选的基础上,构建了基于K-FCM的不同类别密码函数聚类模型,该模型针对传统的FCM模型随机选取初始化聚类中心所导致的收敛性不强问题,采用改进的K均值算法来选取不同类别密码函数的初始化聚类中心。测试结果表明:基于One-Class SVM的密码函数筛选模型能够有效地把疑似密码函数从目标函数集合中筛选出来,基于K-FCM的密码函数分类模型能够有效地把不同类别的密码函数聚合,且收敛性比传统的FCM模型有较大提高。4.针对准确标识密码函数功能的问题,通过研究密码算法“雪崩效应”与动态污点数据传播关系,提出了雪崩数据流的概念,分析了密码函数I/O参数的严格关联性特征,在动态污点数据流分析的基础上恢复出目标函数的I/O实参信息,并结合启发式策略进行密码函数I/O关联关系验证;针对分组链接模式识别问题,研究了雪崩数据流在不同分组链接模式中的体现特征,针对典型的分组链接模式ECB、CBC、OFB(CTR)、CFB设计了识别算法。测试结果表明:文中提出的密码函数I/O验证方法能够准确地对密码函数进行功能验证,并且相对于遍历验证方法在效率方面有较大提高;典型分组链接模式识别算法能够有效地识别出分组之间的链接模式,具有较好的可行性与实用性。5.针对密码系统的逆向解析问题,在对目标代码中密码核心函数识别与分析的基础上,提出了加解密过程依赖图的概念,描述了加解密过程中密码函数间的数据依赖关系和控制依赖关系;针对典型密码库(OpenSSL和CryptoAPI)中的标准密码函数,在参数信息库构建的基础上,提出了基于参数关联的标准密码函数加解密过程还原方法;针对非标准密码函数,以密钥数据在动态执行轨迹中的生存期为线索,构建了密钥关联性模型,并根据AES算法的密钥扩展规则设计了子密钥表识别算法,提出了基于密钥关联的非标准密码函数加解密过程还原方法;测试以局域网通信软件FeiQ和压缩软件WinRar为例展示了加解密过程还原的结果,测试结果表明加解密过程依赖图能够从宏观上展示目标代码中密码函数之间的数据依赖关系和控制依赖关系,为密码系统的逆向解析提供了重要技术支持。本文提出的相关模型和算法已经在课题组开发的“基于动态二进制分析的密码算法识别与分析系统”中得到应用,为密码算法破译、恶意代码检测、加密协议逆向和密码应用安全分析提供了重要技术支撑。