随着计算机和传感器技术的飞速发展,机器人、无人机等智能设备越来越多应用到日常工作和生活.但目前机器人的自主水平仍极大地受限于人工智能、环境感知能力,如何提高机器人的环境感知和智能水平至今依是个巨大的挑战.RGB-D传感器例如Kinect是一种可以同时获得颜色信息和深度信息的传感器,它为机器人对外界环境尤其是室内环境的感知开辟了新的途径. 本文提出了一种实时的室内环境的实时定位与环境感知系统，充分利用Kinect所获取的图像和深度信息，有效的提高了提高定位和环境构图的准确度和速度。定位部分采用了由粗到精的策略。地图创建部分采用处理关键帧的模式，极大的减少了系统的冗余工作.通过大量实验展示了使用本系统进行三维构图的性能，结果表明本系统有着很好的精度，速度以及鲁棒性，可以满足机器人、无人机自主飞行中避障，路径规划的需求。