由于Linux日益的普及,在Linux系统下的恶意软件逐渐增长,特别是作为一个桌面操作系统时。其中Rootkit是计算机中最隐秘的恶意攻击技术,它对计算机构成了重大的安全威胁。它通过直接破坏操作系统内核来隐藏自己的存在,而且还能篡改操作系统功能以发动各种攻击。比如可通过开放系统后门来窃取私有个人数据,也可赋予恶意程序更大的权限使防护机制无效等。内核级Rootkit是一种对运行时Linux系统的完整性极具危险的恶意软件,计算机被Rootkit攻击后,它们将有权限去添加、删除、修改内核或者用户态下应用程序所请求的系统状态信息,包括运行时进程链表、已加载的模块、活动中的网络连接、目录下的文件甚至是文件中的内容;内核级Rootkit还能监控用户活动包括键盘输入、网络包、与硬件的交互等等;内核级Rootkit能劫持内核中关键路径下的函数而破坏整个系统。为了检测到内核级Rootkit,需要深入到运行中的内核底层,包括对其代码和数据结构的检测,以及对系统完整性的验证,检测系统是否被恶意代码入侵。本文主要工作分为以下三个部分:(1)对现有Linux系统下Rootkit入侵原理和Rootkit检测技术的原理进行分析,并提出了基于Kprobe的Rootkit检测技术。通过在关键路径下插入探测点,在内核底层收集进程控制块信息和函数执行流,最后通过底层收集的信息与系统中审计工具所得的结果进行交叉视图的比对,得到被隐藏进程以及被篡改的函数执行流。(2)针对实时监控所带来的性能开销做出优化处理,对Rootkit隐蔽性进行检测同时添加对恶意进程检测的模块。通过该模块提供报警机制,一旦怀疑有恶意进程入侵,才开启监控机制从而减少Kprobe所带来的开销问题。该模块采用机器学习中主流的分类器通过大量的恶意进程和合法进程在运行时的task_struct关键字段作为特征训练出模型,最后根据训练出来的模型判断系统是否被恶意代码入侵。(3)在实验阶段选择几种现有流行的Rootkit与恶意代码相结合的方式,采用了本文的方法检测Rootkit的隐蔽性和恶意性,最后通过实验结果表明本机制具有良好的可靠性。