随着图像、视频等多媒体数据的高速增长,如何利用计算机对海量的多媒体数据进行自动和有效的智能分析和理解成为了人工智能领域的研究热点。对图像的数据分析需要解决两个基本任务,即视觉目标检测和属性分析。在深度学习技术的发展下,基于计算机视觉的目标检测和属性分析算法在近几年有了惊人的突破。然而,在现有的研究中,视觉目标检测与属性分析大多是在多阶段的算法框架中分开独立进行的,该多阶段方式有许多缺陷:1)目标检测误差会引起属性分析的累积误差;2)无法同时利用多个任务间的相关性信息;3)模型训练和测试流程复杂。本文提出了一种基于多任务深度学习的端到端的目标检测和属性分析算法,对其进行了改进。本文的主要贡献如下:1.本文在目标检测算法FasterR-CNN[1]基础上,提出了一种创新的端到端的目标检测与属性分析算法。该算法的优势如下:1)能够引入目标区域的上下文信息,从而减小目标检测误差带来的属性分析累积误差;2)利用多任务学习对目标检测和属性分析任务进行端到端的联合训练,充分利用相关任务的标注信息,提高模型的泛化能力;3)该算法只需要一个模型,简化了模型训练和测试流程,加快了计算效率。2.本文将端到端的目标检测与属性分析算法应用于手势交互任务。该算法能够准确地检测第一视角下的用户交互手势,同时准确识别手势类别并定位手势关键点。该算法在手势检测、手势识别和关键点定位三个任务上的准确性均高于多阶段算法,验证了本文所提出的端到端算法的优点。3.基于所提出的端到端的手势交互算法,本文构建了一个第一视角下的空中手写识别交互系统。该系统以手势类别为交互指令,利用关键点移动进行精细化的书写交互,并对空中手写轨迹进行手写识别,达到了良好的用户体验要求,验证了算法的实用价值。4.本文将端到端的目标检测与属性分析算法应用于车牌检测任务。该算法能够准确地检测车牌区域,并通过车牌的多方向属性分析得到多方向的车牌检测结果,为车牌识别算法奠定了基础。