三维数字城市是一项跨学科的系统工程。尽管在理论研究方面已取得一些进展，但在普通计算机上实现实时显示和交互仍有很大难度。探索低成本、高效率的城市三维模型自动重建途径，对信息技术发展尤其是智能城市建设具有重要的理论意义和实践价值。针对开发数字城市系统存在的挑战，本文从图像重建的角度出发，讨论了建筑物重建、DEM数据重建、建筑物定位等问题，取得的研究成果有：1．基于单幅照片的建筑物重建研究。主要研究了单个建筑物的重建方法，一是提出一种改进的小波ICA滤波器，运用ICA规范小波降维后的信号，发现独立噪声的特征，从图像源中分离噪声与信号。二是基于GA-PSO Hough变换提出一种建筑物平面的重构方法，采用有效的限制搜索空间方法以及分层次搜索策略，有效降低了计算量，提高了重构性能与质量。三是提出从3D建筑物图像中纹理提取与映射的方法，通过校正输入图像，融合透视图提取纹理图片；并提出消除透视扭曲的方法，对纹理图像进行校正，通过补偿光源颜色以估计纹理色彩，避免了3D测量的中间过程。2．基于立体图片的城市重建研究。主要研究了地形与建筑物的重建方法，一是根据线阵推扫式影像的几何性质，分析了线阵推扫式影像的核线模型，提出基于核线曲线的共轭匹配方法，解决了共轭搜索算法、相关域的确定和前后相关匹配策略等问题，并通过实验总结分析了算法的优越性。二是利用自动模糊聚类法进行建筑物抽取，运用Hopfield神经立体匹配方法，对经典匹配进行初始化，提高了匹配率并减小了不明确性。三是针对立体图像匹配时任务调度效率低的缺点，提出了一种启发式任务调度算法HCDDSL，优化任务调度的结果，减少任务完成时间。3．基于特征的模型识别与定位研究。主要研究了大场景图片中建筑物的识别与定位方法，一是提出应用小波变换进行输入图像的边提取方法，提取目标的边缘特征。利用多层次小波性质，实现不同种类目标的检测。二是基于几何不变关系，提出一种三维目标识别算法，通过摄像机投影变换，分析投影参数约束，使用两种不变关系，进行视场不变的目标识别。三是应用联合估计模型和同步联合估计模型，提出了一种基于能量的联合运动和视差估计算法，利用左右运动和前一帧的视差来计算联合估计约束当前帧的初始视差。