面对日益复杂的社会和政治环境，国家安全、社会安全、个人人生安全和财产安全等都面临着不同程度的威胁，都需要各种安全保护措施。在众多的安保措施中，视频监控系统无疑是最直接且有效的。然而现有的视频监控系统大多对人的依赖性较强，作用只是视频图像的传输，无智能性，不适合现代化的社会发展要求。 本文提出的视频监控系统，基于Samsung高性能32位嵌入式ARM处理器S3C44BOX，结合嵌入式uC/OS-Ⅱ操作系统，进行嵌入式视频采集处理方案和软硬件设计及系统部分模块的实现。并将计算机视觉与监控应用相结合，可以利用计算机视觉算法通过图像的变化得到场景状况信息，自动识别。由此即可赋予系统智能性，自主判断，并可通过视觉算法所得知的深度信息，获得物体距离终端的位置，以此设置报警级别。对现有的双目立体视觉算法，进行基于视频监控应用背景的修改，使之所需的计算资源更少，同等计算资源下的计算结果更好，更适用于视频监控的实际应用，并利用算法设计解决自主视频监控中的光照渐变、光照突变等问题。