像素级图像语义理解作为一种细粒度的语义理解任务,不仅能够判别出图像中目标的语义信息,还能够准确地对其进行定位并描绘出其边缘,是计算机视觉领域中的基础任务之一,在自动驾驶、智能交通、智慧医疗、工业检测等领域展现出了巨大的应用前景。目前,针对复杂的自然图像场景,提供区域以及边缘精确信息的像素级语义理解仍面临着巨大的挑战。针对大规模像素级语义标签难以获取、边缘级像素语义理解结果不够精准和清晰、以及缺乏面向边缘形成因素的细粒度边缘检测研究等问题,本文以深度学习技术为基础,探索并建模图像的上下文和语义信息,对像素级图像语义理解中的语义分割和边缘检测任务展开研究。提出一系列新颖的深度学习模型,实现从区域级到边缘级的像素语义理解。论文的主要创新性研究内容和成果包括:（1）在区域级像素语义理解方面,研究了基于图卷积网络的弱监督图像语义分割方法。针对大规模像素级标签难以获取的问题,提出使用涂鸦或物体边界框等弱标注训练高性能的弱监督语义分割模型,利用图卷积网络对图结构进行优化以实现标签传播从而生成像素级伪标签。首先将每张图像划分成超像素,并以空间相邻关系和语义相似度为双重约束构建图结构。与此同时,将涂鸦或物体边界框弱标签嵌入图结构中生成已知标签信息的节点。随后,针对构建的图结构通过图卷积网络的优化将已知的标签传播至图像中未标注的像素,从而生成像素级伪标签。最后,利用生成的伪标签训练语义分割模型。在PASCAL VOC 2012和PASCAL-Context两个公开数据集上的实验结果表明了该方法可以有效提高弱监督图像语义分割的性能,缩小了弱监督方法与强监督方法之间的性能差距。（2）在边缘级像素语义理解方面,研究了基于视觉自注意力网络的通用边缘检测模型。针对当前通用边缘检测方法对上下文建模的局限性和噪声边缘过多的问题,提出了一种新颖的基于视觉自注意力网络的通用边缘检测模型。通过有效建模图像的全局上下文和局部细节信息,促使模型生成清晰的物体轮廓和有意义的边缘。为了不增加计算负担,设计了两阶段的网络框架,分别探索图像的全局上下文和局部上下文特征。在第一阶段,将图像划分为粗粒度图像,利用全局自注意力编码器建模图像的全局上下文。在第二阶段,在滑动窗口的帮助下,将图像划分为细粒度图像块,并利用局部自注意力编码器建模图像的局部细节。此外,全局和局部双向多级聚合解码器分别作用于两阶段,生成边缘感知的高分辨率特征表示。最后,由特征融合模块融合两阶段生成的自注意力边缘特征,生成清晰且噪声少的边缘结果。在BSDS500、NYUDv2和Multicue三个公开的边缘检测数据集上的实验结果表明,与当前基于卷积神经网络的边缘检测方法相比,提出的基于视觉自注意力网络的通用边缘检测方法进一步提升了边缘检测的性能。（3）在细粒度边缘级像素语义理解方面,研究了面向边缘形成因素的细粒度边缘检测方法。根据边缘在表面反射、光照、表面法向和深度的不连续性,边缘被划分为反射边缘、光照边缘、法向边缘和深度边缘四种类型。这些边缘可以为计算机视觉的下游任务提供不同的视觉线索,但是目前边缘检测方法难以同时区分四类边缘,为此提出了一个端到端的神经网络模型来同时检测四类边缘。考虑到四类边缘的不同属性以及它们之间的关系,该模型分三个阶段学习每类边缘的特征表示。在阶段一,利用主干网络提取所有边缘的公共特征。随后在阶段二,针对每种类型的边缘,通过相应的解码器生成具有判别力的高分辨率特征。阶段三的独立决策头聚合来自前两阶段的特征并预测初始边缘结果。与此同时,通过注意力机制推断多个标签之间的空间位置关系,以此融合初始边缘结果生成最终的边缘检测结果。此外,针对目前边缘检测领域缺乏面向边缘形成因素的细粒度边缘检测数据集的问题,构建了第一个包含以上四类边缘的细粒度边缘检测数据集。在该数据集上的实验表明该方法不仅能够有效提升细粒度边缘检测的性能,在通用边缘检测上也取得了优异的结果。