本文针对在研发“无人化起重装卸智能测控系统”项目中关键技术需求——装卸目标物的自动识别及定位测量,研究复杂场景下目标物的实例分割技术,为起重装卸智能化提供关键技术支撑。机器视觉是对目标物进行识别及测量的比较可行的技术。但由于起重装卸场景所处环境和装卸目标物往往十分复杂,存在大量未确定因素,使该技术应用陷于巨大的困境,其中主要是实例分割的实现难度。目前实现高准确率的实例分割技术均基于有监督的深度学习。本文依据项目实际需求研究目标物深度学习实例分割技术,拟实现两个目标:一是标注数据集生成方法,实现通过标记少数样本来构建大型高质量标记数据集,解决训练数据匮乏问题,为利用有监督学习模型提供充足的数据支撑;二是复杂场景下目标物的实例分割方法,实现目标物准确识别,为精确定位测量提供基础。具体研究工作和取得的成果如下:1、针对起重装卸目标物标注数据匮乏问题,设计了一种生成对抗网络,构建准确的含语义标注和关键点标注的数据集。以DatasetGAN作为基础网络,针对实际应用中存在的问题进行改进,包括:（1）语义特征变形问题:将生成器的样本归一化层进行修改,去除均值操作,修改噪声模块和样式控制因子的输入方式;（2）对起重装卸纹理特征单一的目标物的空间位置编码能力弱的问题:将生成网络的常数输入替换为傅里叶特征,并提出一个融合非线性上下采样的模块;（3）目标函数:引入WGAN-GP目标函数消除在判别装卸目标物数据与真实数据分布时容易发生梯度消失的现象。应用实验合成标注数据集,使用Deeplab-V3作为评价网络,以DatasetGAN方法作为基线进行测试的结果为:在语义标签生成任务上,Deeplab-V3输出mIOU值提高14.83%;在关键点标签生成任务上,L2损失平均降低0.4×10-4,PCK值平均提高5.06%。验证了改进的生成对抗网络生成语义及关键点标注数据的可行性和先进性。2、研究构建了一种复杂起重装卸场景下的实例分割主干网络。通过剖析现有实例分割网络的特征提取主干网络,针对强化主干网络对复杂起重装卸场景的远程相关性编码和深度线索编码能力,构建了CNN和Swin Transformer两分支并行结构,然后设计了一个融合模块使异构特征信息充分融合。构建的主干网络能有效在复杂装卸场景下完成强健的语义特征信息和空间特征信息提取。3、研究构建了一种复杂起重装卸场景下的实例分割检测网络以提高分割掩码准确率。首先以Dense Rep Points生成实例的多边形而不是掩码,然后应用一个Transformer多边形变形网络进行更深入的边缘轮廓细化。该网络为多边形预测每个顶点的位移,同时考虑到所有顶点的位置。通过变形多边形,所建模型能够更好地学习捕捉对象的局部几何形状,且有更精确的掩码。复杂起重装卸场景下实例分割主干网络和检测网络组成的实例分割模型,较于其它方法,其在装卸场景下得到最优的分割效果,AP提高5.64%,达到99.51%;mIOU提升10.36%,达到96.83%。