近年来,随着人工智能的飞速发展,其广泛应用于工业等各个领域,但是由于人工智能的很多技术尚未成熟,在很多方面仍然有许多改进的空间。卷积神经网络作为人工智能的核心部分,其起源于20世纪60年代,当时科学家们正在研究猫的大脑皮层,在研究过程中发现卷积权重的共享和连接节点的减少,能够大大减少了神经反馈网络的复杂性。然而,由于硬件的局限性和有效的优化算法的缺乏,这项技术并没有得到较好的开发。随着神经网络的广泛应用尤其是在模型部署变得越来越重要,但是由于神经网络的计算量大、功耗高,在当前已有的大多数移动设备中部署情况较差,并且目前的方法都是采取损失精度为代价来提升算力。所以合理利用目前已有的中央处理单元（Central Processing Unit,CPU）、图形处理单元（Graphics Processing Unit,GPU）、神经网络处理单元（Neural Network Processing Unit,NPU）等处理单元,在不损失精度的情况下去提升神经网络的运行速度,将会大大提升神经网络在移动端的部署能力。本文的主要研究和成果如下:论文基于瑞芯微电子RK3399Pro平台,完成了一款面向移动端的高通量异构卷积神经网络推理系统的优化设计与仿真验证,该平台的主要资源包括:主频1.8GHz的ARM双核Cortex-A72+四核Cortex-A53的大小核处理器、Mali-T860MP4四核图形处理器及AI神经网络处理器NPU,可以根据不同方案进行处理单元的调用。论文在开放运算语言（Open Computing Language,Open CL）异构并行计算框架与Tensor Flow深度学习框架内,设计完成了两种模型推理加速方案与仿真验证。重点针对Le Net-5手写数字识别网络进行部署分析,做了对CPU单独部署、CPU+GPU异构、CPU+NPU异构以及CPU+GPU+NPU异构进行了四组对比实验,最终确定了以下两种方案进行模型推理速度的优化。完成了在神经网络模型部署的硬件配置层面进行优化的并行加速方案设计与仿真验证。实现了通过调用空闲CPU和GPU,同时与NPU进行图像处理,有效提高了模型推理的吞吐量,仿真结果表明,本文设计的模型推理速度比单独NPU加速工作提升了12%,满足设计要求。完成了根据不同异构计算资源及神经网络不同层的特性将神经网络不通层匹配至最优的异构计算资源上进行计算的串行加速方案设计与仿真验证,实现了将神经网络模型中全连接层拆分出来通过CPU进行计算,网络其余部分通过NPU进行计算的加速方法,仿真结果表明,本文设计的方案比NPU单独加速推理单张输入图像的速度提升了5%,满足设计要求。