近年来,深度学习大量应用到自动目标识别领域,如何综合客观评价基于不同深度网络模型的目标识别方法的性能是实际应用中急需解决的问题。随着自动目标识别技术的发展和应用,现有的基于深度学习的目标识别算法性能评价指标并不能满足当前自动目标识别技术实际应用的需求。因此,本文针对自动目标识别性能评价问题,以舰船目标识别应用为背景,开展了基于深度学习的目标识别算法性能评价相关的关键技术研究。主要完成工作如下:(1)面向自动目标识别实际应用,从准确性、实时性和模型复杂度三个维度,设计并构建了新的自动目标识别性能评价指标体系。(2)提出一种基于DS-ER的自动目标识别性能评价方法。首先,通过领域专家问卷调查,利用层次分析法AHP实现了性能评价指标体系中各指标的相对权重确定;然后,将证据推理ER方法与证据理论DS相结合,通过多性能评价指标联合信度矩阵和证据理论特征进行各指标信息合成,计算得到自动目标识别算法性能的总置信度;最后,通过加权方法,计算得到最终的性能评价结果。该方法具有计算复杂度低、能够实现对自动目标识别算法性能的不确定性进行定量描述、能够实现多个自动目标识别算法的性能优劣排序并最终确定具有最佳性能的自动目标识别方法等特点。(3)以舰船目标识别应用为背景,利用已有的公开数据集和自建舰船数据集,分别对六种深度网络自动目标识别算法开展自动目标识别性能评价方法实例验证和分析:在资源受限应用场景中,改进SSD方法性能表现最佳;在资源不受限应用场景中,YOLOv3方法取得最佳目标识别性能;实验结果与实际应用情形相符。(4)利用前后端分离思想,综合Element UI组件库、Vue.js和Spring MVC等技术,设计并实现了基于深度学习的目标识别算法性能评价原型系统,并利用该原型系统开展了实验验证和分析。