近年来,随着人工智能技术的飞速发展,加上计算机算力的大幅提升,机器学习算法尤其是深度学习算法开始被广泛应用于我们的生产和生活当中。最常见的应用场景包括人脸识别、自动驾驶、恶意应用检测、智能语音交互等。正如传统软件开发中会存在安全问题一样,机器学习算法同样存在安全性问题。然而在当前机器学习发展的浪潮中,大部分的开发者和研究者都把视线放在提高机器的“智能性”上,很少有人关注到算法的“安全性”。当这些机器学习算法被应用在自动驾驶、语音控制等重要场景中时,算法的安全甚至会关系到用户的生命财产安全。对抗样本是目前已知的、最为严重的机器学习算法安全性问题之一。一个精心构造的对抗样本可以直接误导算法的决策和判断,从而带来不可估量的严重后果。因此,对机器学习算法安全性的研究,尤其是对对抗样本攻击的研究,有着重要的社会意义和应用价值。本文首先对以对抗样本攻击为代表的机器学习安全性问题进行了系统调研,分析了常见的对抗样本攻击方法,并对当前现状进行了概括总结。本文以对抗样本生成方法为研究课题,希望通过对攻击技术的研究,为如何防御对抗样本攻击提供思路;结合群体智能进化算法高效、灵活的搜索特性,重点研究如何针对图像数据进行黑盒对抗样本生成、如何基于对抗样本技术进行网络流量混淆、如何生成针对Android应用的对抗样本以及如何构造针对音频数据的对抗样本。本论文各部分的主要研究内容具体如下:第一部分首先对现有的对抗样本生成技术进行了综述,对比分析了各方法的优缺点,为该领域进一步的研究工作给出建议。其次对群体智能进化算法进行了综述,概括总结了群体智能进化算法的一般框架流程及特点,解释了这类算法适用于构造对抗样本的原因。最后,针对传统群体智能进化算法收敛速度慢、容易陷入局部最优的问题,提出一种基于t分布的改进遗传算法,该改进遗传算法具有收敛速度快、搜索效率高的特点。该部分的研究内容为后续的对抗样本生成技术研究提供了理论依据和技术支撑。第二部分提出一种新的针对图像数据的对抗样本生成方法。该研究针对传统图像对抗样本在构造过程中存在的模型依赖性高、构造效率低、鲁棒性差等问题,提出了基于群体进化算法的图像对抗样本生成方法。该研究在MNIST、CIFAR-10和ImageNet等测试数据集上都实现了100%的攻击成功率;同时对经过“蒸馏防御”方法加强的网络模型也实现了成功率为100%的攻击。第三部分提出一种基于遗传算法的对抗样本生成方法,通过迁移深度学习中存在的对抗样本问题,针对更广泛的机器学习检测模型,采用对抗样本来做流量混淆,进而达到绕过模型检测的目的。该研究在基于CNN的流量检测模型和Profile HMM网站指纹检测模型上,在无需知道检测模型参数的情况下,生成的对抗样本都可以改变两种检测模型的判别结果,成功达到流量混淆的目的。相比于传统的流量混淆方法,该方法具有96%以上的成功率。第四部分提出一种针对Android应用的对抗样本生成方法。与针对数值为连续的图像对抗样本不同,Android应用本质上是离散的二进制串,所以不能直接使用图像对抗样本领域的方法。为了解决这个问题,该研究提出一种基于遗传算法的Android应用对抗样本生成方法,能够在不影响Android应用自身正常运行且保留所有功能的情况下,构造出相应的对抗样本。实验结果表明,该方法可以针对黑盒检测模型生成Android应用的对抗样本,并且成功率接近100%。第五部分提出一种针对音频数据的对抗样本生成方法。研究表明基于机器学习算法的自动语音识别模型也会受到对抗样本的威胁,对音频对抗样本的进一步研究是阻止潜在攻击威胁的必要途径之一。尽管一些学者已经进行了这方面的研究,但是音频对抗样本的有效性和鲁棒性仍然不令人满意。该研究提出一种基于加权和微取样的音频对抗样本攻击方法,同时还将一种降噪方法应用在损失函数的构造中,使得生成的音频对抗样本更不容易被分辨。实验表明,该方法可以在分钟级时间损耗内生成低噪声、高鲁棒性音频对抗样本。