随着互联网与计算机技术的快速发展及广泛使用,网络上数据日渐庞大,维护网络空间安全已成为网络与计算机安全发展极为重要的一部分。近年来网络安全事件频频发生,恶意代码对计算机造成的安全威胁不可小觑,严重危害国家、社会和个人的隐私安全和经济利益,同时,对恶意代码的特征提取、检测、分类以及对未知新型恶意代码的检测的能力在网络空间安全领域起到了至关重要的作用。恶意软件制作者为了躲避检测查杀,往往对恶意软件通过加壳、混淆、加密等伪装技术生成大量变种,使得检测与分类变得异常复杂,仅仅靠人力分析与检测并不现实。目前对于恶意代码的分类检测使用的特征集的方法过于依赖专家的专业分析,提取特征集过于耗时且对于新型未知的恶意代码不能及时有效的预测,目前已有大量的研究人员通过各种新型的途径和方法对恶意代码进行检测与分类研究,虽然一部分研究已经取得较好的精确度并具有一定的预测新型恶意代码的能力,但在性能、准确率、预测效果、模型架构、研究方法等方面仍有可提升的空间,本文通过对Windows平台下文件结构以及机器学习模型等方面的研究,结合胶囊网络对图像识别方向的优势,设计了一种结合恶意代码图像与胶囊网络图像识别模型的恶意代码检测解决方法,以下是研究与实现过程中主要的研究工作、贡献以及创新点:（1）设计全新的恶意代码RGB彩色图像化方法针对以往使用的二进制文件转化为灰度图的方法中,灰度图所包含的特征信息有限,再经过下采样处理后,特征数据损失更加严重,一些彩色图像的方法也仅仅更换了转换图像的方法,并没有增加更多维度的特征信息等问题,针对上述问题设计了一种新颖的恶意代码RGB彩色图像的可视化方法,将图像中三个通道分别对应的插入不同类型的信息,特征表述更加全面。（2）选取胶囊网络模型用来进行检测与分类在图像的识别与分类问题上,由于代码图像往往是杂乱无章的图像,同时表面没有规律的像素点往往相互间有一定的关联关系,胶囊网络与卷积神经网络相比较,在样本数量有限的情况下,卷积神经网络往往会出现一些过拟合的现象,除此之外卷积神经网络在设计之初就使用了最大池化的方法,容易造成特征信息的缺失,本文选用胶囊网络的方法使用“胶囊”存储特征信息并使用动态路由算法进行训练,避免了特征缺失的问题。同时在输入之前做了一定程度的图像增强操作,例如调整图像对比度、亮度与色度,实验结果证明,这些操作一定程度的提高了实验的效果。（3）设计了全新的基于代码图像胶囊网络的恶意代码检测模型RGB-Caps Net该检测模型作为从PE文件输入到检测结果输出的整体架构,详细的展示了检测分类模型各模块之间的关系以及设计逻辑。该检测模型分为三部分,分别为数据的预处理、模型的训练以及结果的检测,整个模型机构简明设计逻辑合理,最终的检测效果也达到了预期的效果。本文的研究为恶意代码检测与分类的研究提供了新的研究思路和研究方法,并在实验过程中取得了较好的效果。