随着移动设备上各种人工智能应用的推广,大量新的需求对边缘计算平台应用部署提出了新的挑战。边缘设备有限的计算资源导致诸多AI应用由于难以达到实时性的要求而无法落地,如何解决算法需求与边缘设备算力之间的矛盾成了边缘应用中的关键问题。针对以上问题,本论文对深度学习算法在边缘计算平台上的部署与优化问题展开研究,主要包含的工作如下:研究了一种可用于机器视觉检测系统算法部署的通用软件框架。该框架一方面能够完成算法在平台的快速部署,另一方面能应对多任务场景进行系统的资源调度。该框架具有较好的稳定性、可扩展性、可维护性,软件结构对开发人员友好,易于根据实际系统需求做进一步扩展与开发。基于通道剪枝优化以及Tensor RT框架,结合Jetson AGX Xavier平台的硬件特性,提出了一套深度学习算法推理优化方案,首先将深度学习算法模型经过通道剪枝后,再使用Tensor RT完成INT8精度校准,最后结合CUDA的存储管理与通信优化方法并经过Tensor RT层融合等优化后得到推理引擎用于实际应用。面对智能路面清扫车项目的需求,基于以上研究内容,完成智能路面垃圾识别系统的软件实现,并根据提出的推理优化策略完成路面垃圾检测算法在该平台上的部署优化工作,优化后的算法执行速度与性能能够满足项目的需求。测试表明,路面垃圾检测算法模型在轻微精确度下降的代价下,缩减了模型尺寸,并提高了推理速度。模型参数量减小为原始模型的8.7%,推理速度由原来的97ms提升到了24ms,证明本文提出的推理优化策略在实际应用中能有较好的效果。