随着深度学习的兴起,卷积神经网络（Convolutional Neural Networks,CNNs）在图像分类、检测、分割和重构等计算机视觉任务中都取得了巨大的成功。早期CNNs的训练和推理均在服务器端进行。近年来,物联网技术的广泛应用促使CNNs逐渐从服务器端向嵌入式移动终端转移。但由于CNNs是典型的计算密集、存储密集的网络模型,资源有限的嵌入式移动终端设备常常不能满足CNNs对计算和存储资源的大量需求。因此,网络模型压缩和加速成为CNNs模型部署的关键所在。目前常见的CNNs模型压缩加速方法主要有低秩分解近似、网络剪枝、权重量化和知识蒸馏等。但是这些方法都没有考虑计算负载分布不均、网络结构不规则等问题。本文针对GPU嵌入式平台Jetson AGX Xavier上的CNNs部署问题,开展了以下三个方面的工作:第一,对于CNNs中计算负载分布不均,直接卷积计算方式延迟高的问题,本文提出利用图信号,将输入、卷积层和全连接层等都表示成图域的形式,构建基于图信号的CNNs的方法。然后使用图信号处理相关技术来处理各层,使各层都变成矩阵-矩阵乘或矩阵-向量乘的统一计算方式。通过转换使得整个网络规则化,更容易被GPU并行化加速,而且有利于硬件优化策略的使用。第二,对于不同卷积核之间可能存在的相似关系所造成的权值冗余问题,本文分别在空域和频域上使用聚类量化的方法对卷积层进行压缩。该方法与传统的标量量化方法不同,针对的是以卷积核为对象的矢量量化。首先对多个卷积核进行聚类,然后对聚类得到的每组卷积核进行量化,最后用量化得到的结果去近似表示原有卷积核以达到压缩的目的。量化后的卷积层参数存储需求和计算量都将减少。第三,对于GPU硬件平台虽然并行单元众多,但不同内存之间访问速度差别较大的问题,本文提出基于脉动架构思想的访问优化以及基于异步传输的数据传输方法,有效减少内存访问时间和数据传输时间。优化后的模型在嵌入式GPU设备上能够更好地利用硬件资源,实现加速。本文以面向图像分类的VGGNet和面向图像重构的AUTOMAP为例,对本文所提出的方法进行了验证。实验结果表明,本文方法可以使两类基于图信号的CNNs获得与原始模型相当的性能。为了有效压缩网络模型,本文利用聚类量化方法成功地将CNNs的卷积层参数压缩为原有的一半。无论是VGGNet还是复杂度更高的AUTOMAP网络都可以在嵌入式设备Jetson AGX Xavier上良好运行。