目前,建筑施工行业的信息化管理水平低下,知识管理问题未得到有效解决。知识图谱（Knowledge graph,KG）作为人工智能的底层技术和高效的知识管理工具,适合于管理建筑施工领域中复杂、分散的知识,并支撑如语义搜索、智能问答、文档自动归类等智能化应用,有助于提高施工管理的效率。在已开展的知识图谱研究中,对于建筑施工领域知识图谱更新的研究较少,且集中在基于文本的知识图谱更新。视觉数据在准确性和时效性方面优于文本数据,快速发展的深度学习和计算机视觉技术为基于视觉数据的知识图谱更新打下了良好的基础。因此,本文旨在开展基于计算机视觉的建筑施工领域知识图谱更新方法研究,并以室内装修施工工艺为例开展方法的应用研究。本文的主要工作包括:（1）对基于计算机视觉的知识图谱更新中的实体抽取和关系抽取任务进行了文献综述。简要介绍了基于文本数据的实体抽取和关系抽取,全面总结了零样本学习的相关研究,重点阐述了零样本学习中关于实体抽取和关系抽取的研究。此外,还介绍了基于计算机视觉的知识图谱更新所涉及的相关技术,包括深度神经网络、语言模型和零样本学习,着重介绍了本文所使用的各项零样本学习技术的定义和基本算法。（2）针对视觉实体抽取任务,结合零样本学习技术,提出了一种实体抽取框架（Video2Entities）,以抽取视频中的已知和未知的实体。该框架由两个迭代过程组成:前向过程和后向过程。前向过程使用先验信息（如词向量）来初始化视觉实体检测器（Visual entity detector,VED）,VED由零样本的动作识别（Zero-shot action recognition,ZSAR）和零样本的目标检测（Zero-shot object detection,ZSD）模型构成。由于建筑施工行业缺乏完善的领域知识图谱,前向过程在通用知识图谱的基础上更新所抽取的实体。为了强化先验信息,后向过程使用图卷积神经网络（Graph convolutional network,GCN）聚合实体关系图中的语义信息,其中实体关系图整合了通用知识图谱与词向量中的语义信息。在下一次迭代中,框架获益于增强后的先验信息,并重新初始化VED进行实体抽取。（3）针对视觉关系抽取任务,提出了一种视觉关系抽取框架（Image2Triplets）,从图像中抽取实体间的显性关系。该框架同样包含前向和后向两个过程。前向过程使用先验信息初始化视觉关系检测器（Visual relationship detector,VRD）。VRD由ZSD和零样本的人-物交互检测（Zero-shot human-object interaction detection,ZSHOID）模型组成,可检测图像中新颖的人-物交互关系。结合实体抽取的结果,可组成＜人-动作-物体＞形式的三元组,这些三元组包含建筑施工领域的相关信息,支撑着建筑施工领域知识图谱的构建。后向过程的利用GCN从人-物交互关系图强化先验信息,其中人-物交互关系图整合了通用知识图谱和词向量的语义关系。在下一次迭代中,框架受益于语义向量,并初始化VRD进行关系抽取。（4）以建筑室内装修施工工艺知识图谱更新为例,详细介绍了实体抽取、关系抽取和知识图谱更新的具体过程,重点阐述了实体关系图和人-物交互关系图的构建,并对现场施工视频进行了全面的实验分析,对多种影响框架泛化性能的因素进行了讨论。研究表明,所提出的框架结合了计算机视觉的感知能力与知识图谱的认知能力,可优化实体抽取和关系抽取的过程,实现未知实体和关系的抽取,以及知识图谱的迭代更新。结合文献调研结果,本文首次在知识图谱更新任务中引入了零样本学习技术,提出了能够从视觉数据中抽取实体和显性的人-物交互关系的视觉框架,解决了“新实体”和“新关系”的识别问题。本研究有助于结构化存储、检索和复用建筑施工领域的知识,为建筑施工领域的智能化管理和应用,提供可靠的知识基础。