人工智能的浪潮席卷世界,多媒体应用融入了人们的日常生活,人脸支付、线上购物、网络直播等已经成为生活中密不可分的环节。多媒体数据中,人物图像内容感知是以人为核心的相关应用的基础,它对视频监控、自动驾驶、虚拟购物等实际应用有重要的支撑作用,因此研究人物图像内容感知具有重要的理论意义和应用价值。本文主要研究人像内容中两种不同粒度的语义信息感知,即粗粒度的衣服属性和细粒度的人体部件类别,实现人物图像内容全局和局部语义信息的整体解析。特征提取是人物图像内容感知的关键,鲁棒的特征对图像内容的识别起至关重要的作用。基于此,本文深入分析和挖掘空间特征表达存在的瓶颈,重点研究如何探索空间位置与语义类别之间的关联关系提取鲁棒的特征表达,以提升人像内容感知的能力。针对特征提取中存在的依赖大量手工数据标注、空间特征表达能力受限、实际场景内容复杂多变等难点进行了深入研究,主要成果是围绕空间语义关联性提升了衣服属性和人体部件类别语义信息的识别能力。具体地,本论文主要创新点包括以下四个方面。1.针对当前深度学习模型依赖大量人工标注数据的问题,提出了一种无监督模型辅助衣服属性识别的方法,通过挖掘无监督衣服视频的空间和语义线索,设计了一个三元组框架预训练鲁棒的无监督网络,并将无监督学习到的衣服知识迁移到有监督的衣服图像属性识别。实验验证了利用视频上下文信息可有效减少人工标注的负担。2.针对当前衣服属性识别任务中缺乏挖掘特定衣服属性和空间位置之间的关系问题,提出引入注意力模型来解决衣服属性识别问题,若直接采用经典的空间注意力机制学习每个任务的注意力权重,会遗漏不同任务之间的相互影响。为了突破此局限,提出了一种任务感知注意力模型,可以在每个空间位置有效估计跨越不同任务的重要性,此外还构建了一个无监督归一化模型来挖掘同一空间位置对不同任务的重要性,避免了额外的人工标注。在商店域和街道域场景的衣服属性识别实验结果验证了任务感知注意力机制的有效性,并且从可视化的注意力热图来看,本文提出的任务感知注意力模型可以很好地捕捉到不同属性对应的空间区域。3.针对空间池化金字塔模块中的平均池化基本单元不能很好地探索与任务相关的上下文信息的问题,提出了一种能够自适应地聚合来自不同人像语义类别空间位置线索的聚集-激励方法。此外,为了解决人像语义解析任务中的尺度不一和类别易混淆的问题,构建了聚集激励上下文金字塔模块（PGEC）,能够探索更丰富的局部和全局上下文信息,从而有效解析多尺度的人体部件。单人和多人人像语义解析实验结果验证了PGEC均能够取得领先的分割性能,且PGEC在人像语义解析任务中优于空间池化金字塔（PSP）和空洞空间池化金字塔（ASPP）。4.针对基于锚框的人物检测器存在的超参敏感性边界框设计和非像素级导向设计两个问题,提出了一种新的免锚框的实例人像语义解析模型,通过引入面向像素级设计的免锚框人物目标检测器,有效避免了超参数敏感性问题。此外,针对实例人像语义解析中边界易混淆的问题,设计了一种边缘线索引导的人像语义解析模块,有效区分不同人物实例位置和相邻人像语义类别区域。实验验证了在多人实例人像解析数据集上能够取得较好的人像语义分割性能,尤其是在实例级的评价指标上效果更加凸出。