人类可以通过视觉、听觉和触摸等多种感官来察觉世界,当人类看见一个物体时,会联想到触碰它时是什么感觉。在本文的工作中,这里建立了视觉和触摸之间的跨模型连接,将视觉信号和触觉信号都以图片信号的形式,通过输入视觉图像输出触觉图像从而达到预测触觉信号的目的。这种跨域建模任务的主要挑战在于两者之间的的规模差异,可以理解为虽然我们的眼睛可以一次感知整个视觉场景,但人类只能在任何特定时刻感受一个物体的一个小区域。为了连接视觉和触摸,本文引入了从视觉输入中合成合理的触觉信号的新任务。为实现这个目标,本文通过标准数据集,其收集了相应视觉和触觉图像序列的大规模数据。为了缩小视觉和触觉图像的尺度差距,本文提出了一种新的条件对抗性模型,在输入视觉图像的时候加入未发生触碰时的参考图像,模型通过比较参考图像和当前帧可以先确定触摸的位置和规模,这样网络在学习的时候可以只学习跨模态改变的部分,从而不用从头渲染整个信号。针对神经网络在进行图像转化时容易出现的边界不确定、模糊等问题,本文改进了U-net的网络结构,采用了更深层次的采样层。针对于触觉图像的输出序列与视觉图像的输入序列在时间上不同步的问题,本文加入了多张图像作为连续帧输入。最后此模型还遇到了严重的模式崩溃问题,本文使用了数据再平衡机制来解决了这个问题。最后实验结果表明,在相同的实验环境下,本文的模型可以从触觉数据产生比较好的的视觉图像,预测触碰的准确率高达90%左右。常规的Pix2Pix网络结构非常依赖于数据集的一一对应,意思是本文必须使用一个含有视觉和触觉图像的一一对应的数据集,但本文的研究背景是帮助机器人在月球表面的自然行走,即当机器人看见视觉信号的时候,它能预测一个触觉的信号,在这样的实验场景下本文很难得到一一对应的完美数据集,所以本文用了Cycle GAN来优化网络结构,使得实验并不依赖一一对应的数据集。而Cycle GAN的本质就是使得源域和目标域可以互相映射,从而避免了从源域到目标域的一一对应的映射问题。实验结果也表明这个网络结构可以解决没有一一对应的数据集的问题。