近年来,搭载视觉系统的云台在安防监控、人机交互等领域扮演着重要的角色。将相机安装在多自由度云台上,通过云台带动相机运动,即可实现对目标的快速跟踪。云台视觉伺服控制就是将视觉传感器获得的信息反馈给伺服控制器实现对云台的闭环控制,使目标始终出现在相机的中心位置。云台视觉伺服技术主要涉及到控制理论、数字图像处理等方面的学科,是目前机器人领域研究的热点。本文从二自由度视觉伺服云台的硬件结构,控制器设计和跟踪算法设计三个方面展开了论述和研究。为了提高视觉伺服云台的跟踪控制精度,采用一种双环结构控制器方案,并对作为内环的位置环控制器进行了详细的设计与改进,同时对视觉跟踪算法进行设计保证了跟踪过程中目标位置的稳定获取,最后在实物平台上验证本文控制器和跟踪算法的可靠性。多组实验结果表明,采用本文的设计方法能够大幅度提升视觉伺服跟踪性能,充分满足小型视觉伺服云台在目标跟踪方面的使用要求。本文研究内容主要体现在伺服控制器和视觉跟踪算法两个方面。在位置环设计的过程中设计了基于内模原理的线性二次型调节器(LQR),然后针对LQR控制器权矩阵参数选取问题使用改进粒子群算法进行优化。本文提出的改进粒子群算法是在传统粒子群算法的基础上引入交叉算子和动态参数,实现粒子的交叉动态寻优。在图像跟踪的过程中,采用了传统CamShift算法能够保证目标移动过程中的对目标位置信息的稳定获取,由于目标移动的过程中存在遮挡和环境干扰等问题,通过将传统CamShift算法与卡尔曼滤波相结合达到良好的预测跟踪效果。