随着现代社会对图像信息的需求日益增长,全方位成像技术及其应用得到不断发展。面向全方位视频的目标检测、目标跟踪技术也成为了计算机视觉领域一个多学科交叉的热门分支,被广泛应用于巡检机器人、飞行器制导、自动驾驶、安防监控等技术落地场景。本文重点研究了基于多摄像机拼接的全方位成像技术,在此基础上实现对运动目标的实时检测,并针对结合主动PTZ摄像机的联动目标跟踪进行了深入研究。首先,在系统设计上,选择以四台广视角鱼眼摄像机建立全方位成像系统。针对鱼眼摄像机的畸变特点,选用高次畸变模型,并结合光束平差法对内参矩阵、畸变系数矩阵进行优化。通过柱面投影方法,使图片的空间约束与人视觉感官保持一致。图像配准阶段,分析了多种不同特征提取方法,并结合全仿射模拟框架和AKAZE算法提出了Affine-AKAZE算法。通过对比实验,验证了在大视差场景下Affine-AKAZE算法的优越性。得到匹配点对后,采用光束平差对投影矩阵进行优化,实现了全方位成像系统的坐标对齐。融合带处理采用渐进检出的线性融合算法,使得一视场图像柔和地过度到相邻视场图像。最后,在全景图像生成阶段,根据变换关系一步步倒推像素点的原始图像坐标,构建快速映射表,利用查表法快速生成全景,实现了实时的全方位视频监控。然后,针对运动目标检测算法进行了深入研究。在传统算法方面,经过对帧差法、背景建模法等方法的研究比较,创新地提出了基于改进Vi Be的目标检测算法。该算法通过设置自适应前景阈值,提升了对背景环境光照不均、亮度值变化不一场景的鲁棒性。通过Vi Be算法与帧差法相结合,解决鬼影问题。通过形态学手段,保证检测目标的完整性。深度学习方向,研究了目前最新、效果最好的YOLOv4算法,理清其框架的合理、先进之处。考虑到系统的硬件条件有限,选择搭建轻量化的YOLOv4-tiny网络模型进行目标检测,并成功将其应用到系统中,评估了其实际性能和部署方案可行性。最后,研究了视频目标跟踪算法以及结合主动PTZ摄像机的联动跟踪。采用卡尔曼滤波算法,将目标的位置、速度等属性模型化,通过不断地预测和更新,形成目标更为准确的运动轨迹预测。保证了运动目标跟踪轨迹的平滑性,降低速度、方向骤变时对跟踪效果的影响。建立结合主动PTZ摄像机的联动跟踪系统,提出了一种联动跟踪自动配准算法。该算法建立了全方位成像系统与主动PTZ摄像机坐标之间的空间映射,建立起了视频中目标坐标与主动PTZ摄像机姿态角之间的对应关系。提出一套主动PTZ摄像机的控制算法,对目标选取、P/T控制、Zoom控制进行了精心设计,引入中心区域阈值法、模糊PID控制、查表法等方法,实现了对所检测威胁最大目标的实时跟踪,并获取目标的清晰细节。本文研究并实现了全方位成像结合主动PTZ摄像机进行运动目标跟踪的视频监控系统。既可宏观把握整体安防情况,又可对重点目标进行跟踪监控,二者结合,相辅相成,大大提升了安防监控的智能性。