从运动到结构的估计,也就是从时间序列的2D图像中推断出场景的3D信息,因其在运动导航、虚拟现实、增强现实、自动驾驶等领域中的广泛应用,受到了学术界和工业界的广泛关注。然而,待估计场景中常常存在遮挡区域、弱纹理区域等难以提取特征的区域,使得运动恢复结构这一任务颇具挑战。因此,研究更加准确,更具泛化性的运动恢复结构算法仍然是行业难点。由于传统的SFM算法效果差,深度卷积神经网络的出现大大促进了计算机视觉各方向的发展,通过深度卷积网络来从视频序列中学习场景的深度和相机的位姿也成为了该方向的研究热点。基于有监督神经网络的算法采用雷达采集的真实测量结果来进行网络的监督学习,算法效果好但是泛化性能差,场景的微小变动就会很大程度上影响算法的性能。因此,最近的工作中,无监督神经网络渐渐引起了研究人员的关注。当前,在应用于该领域的无监督学习的相关工作中,都使用单目视频序列作为算法的输入,但是,通过这种方式得到的结果需要一个通过真实测量结果计算得到的比例因子来进行调整,以得到真实世界尺度的结果。在本文中,我们提出了一种新型的双目无监督神经网络框架,用于从双目视频序列中进行场景深度和相机位姿的估计。双目视频序列的使用可以为算法提供空间(同一时刻左右帧)和时间(不同时刻左视图像)的光度学形变约束,并为场景深度和相机位姿提供真实世界的比例因子,从而完全摆脱了对真实测量结果的约束,这对于自动驾驶等真实应用来说有着重要的意义。在KITTI数据集上的实验表明,我们的算法框架得到的结果优于当前该领域中无监督算法的最优结果。