随着卷积神经网络良好的效果以及AIoT的发展,其应用落地化的需求也越来越大。面对一些对算力、存储以及实时性要求比较高的嵌入式系统上,卷积神经网络模型巨大的参数量和计算量往往难以部署并得到应用。本文对多种典型轻量化模型结构以及部分模型压缩方法进行研究,分析并总结这些模型结构所依据的设计原则和创新点。在这些理论基础上,结合嵌入式设备特点,对深度可分离卷积网络结构提出优化方法,能够进一步加快嵌入式端模型计算速度。首先,本文针对深度可分离卷积的内存访问开销和高参数量问题,提出优化方法。该方法在深度可分离卷积中使用分组卷积降低参数量,并提出针对分组卷积内存访问开销的优化方法。通过实验验证了在相同计算量（FLOPs）下,优化内存开销后的分组卷积的速度有较明显的提升。在此基础上又提出基于分组级别的剪枝方法对分组卷积的卷积核进行剪枝,大幅降低深度可分离卷积的参数量和计算量。通过实验分析并验证了优化后的深度可分离卷积在嵌入式设备端计算速度具有明显的提升。其次,针对分组卷积的特征图通道信息的边界问题,提出针对网络结构的优化方法。该优化方法针对基于优化后的深度可分离的网络提出交替卷积的方式,让分组间特征图的通道信息在不同层进行传递。结构优化后的模型在MNIST和CIFAR-10数据集上的进行准确率实验,通过实验分析并验证了使用本文提出的优化方法能够在较小模型精度损失的情况下较大程度地降低模型的参数量和计算量。然后,针对优化后的结构中使用split和concatenate操作所带来的内存搬运开销问题,提出嵌入式端计算优化方法。该优化方法通过使1×1卷积层的输入输出特征图在原地计算的方式,降低了优化后的网络结构在嵌入式端内存方面的操作开销,进一步提高在嵌入式设备上的运行速度。最后通过实验对比本文提出的优化方法优化后的模型在嵌入式设备上的实际加速效果。最后,针对本文提出的模型优化方法在实际工程应用中的可行性和有效性问题,本文通过实现一个关键词识别的嵌入式应用系统来进行工程验证。该系统使用深度可分离卷积网络进行语音关键词的识别,并使用本文提出的优化方法对其进行优化。通过对该软件进行需求分析设系统设计,完成语音关键词识别的嵌入式应用实例,验证了本文方法在工程方面的可行性。