目前的人工智能(Artificial Intelligence)与数字建造(Digital Fabrication)技术的不断结合,正把建筑师的目光引向一种革命性的全自动建造过程(如从数字设计模型到由混凝土打印而成的建筑实物),在这一过程中,设计的推敲是基于阶段性设计表达(如数字模型、三维打印原型等)的迭代,而跳过了在其制作过程中,基于人与物之间互动的思考过程。本研究针对这一现象提出了另一种结合方式——基于三维扫描与视觉引导技术的人工建造方法,即在建筑师熟悉的实物模型制作过程中,甚至在现场的施工指导过程中,由计算机实时对实物对象完成三维感知、性能计算、操作提示,从而大大增强人对实物的感知能力与测算能力,使得其可以完成传统人工难以完成的手动操作。这里,在对国内外相关研究进行了全面梳理的基础上,提出了一套基于"Kinect2+微投"的互动装置,演示了在设计师操作泡沫模型的过程中,对其进行实时感知、计算、提示的过程。