近年来,由于深度学习的出现,人工智能在各个领域的飞速发展是有目共睹的。自然语言理解作为人工智能领域的热点研究方向之一也随之崛起。目前,市场上的对话设备层出不穷,但是对话系统在解决仪器设备的使用问题中的应用并不多。由于仪器设备的操作越来越复杂,不久的将来基于图像的对话帮助系统的研究会是一个不错的研究方向。相比纸质的帮助方式,图像结合对话的帮助方式能够更方便、更快速的解决用户使用设备时遇到的难题。本论文主要是针对仪器设备的使用帮助的研究。提出了面向设备的深度学习图像对话帮助系统模型,并实现了该模型的原型系统,最终将该模型应用在了仪器仪表领域。首先,分析了面向设备的深度学习对话帮助系统模型相关领域的发展历程和国内外研究现状,并对模型需要用到的实例分割算法、分词工具、多模态融合以及概念从属树等理论基础进行简单介绍。其次,结合对话实例分析了关于仪器设备对话帮助系统中语言理解的诸多难点,并总结分析得出目前多模态视觉对话准确率不高的原因之一是因为自然语言模态往往结合图像进行了省略,由于省略导致的歧义造成模型在没有正确理解自然语言文本语义的情况下与图像模态的信息进行对齐融合。针对这种情况,本文所提出的面向设备的深度学习图像对话帮助系统模型在传统的多模态信息对齐融合之前先进行基于图像与知识结合的省略恢复消歧模块处理,利用“示波器才能测波形”这类知识解决了一系列省略歧义问题。歧义处理之后,模态之间能够建立联系的信息相比未处理时更加完善。从而,帮助系统就能更加精准的确定用户提问的仪器设备实例主体。然后,在BERT语言模型以及LXMERT多模态模型的基础上建立了面向设备的深度学习图像对话帮助系统预训练模型。模型预训练之前,首先建立了模型相关数据集,并针对数据集中图片与问题一对多关系提出相关解决方案。接着,结合双模态输入实例分析了模型中主要模块的处理思路及训练结果,重点剖析了基于图像与知识的省略恢复模块的恢复过程。最后,将面向设备的深度学习图像对话帮助原型系统应用在仪器仪表领域,以获取具体仪器设备信息为例,详细介绍了仪器仪表领域知识库的建立过程,并将获取到的数据以仪器设备概念从属树的形式组织管理并存到数据库。然后以语音为主,界面为辅的方式展示了模型在仪器仪表领域中的应用方式。