目标检测与跟踪技术是机器视觉、模式识别及人工智能等研究领域的热点问题,在军事侦察、战场环境监控、智能安防、视觉导航等军事、民用两个领域都有着十分广泛的应用。随着人类安全意识的不断提高,人们越来越重视高人流密度和高安全等级场所的视频监控、异常行为检测及分析等功能,行人检测跟踪技术随之有了很大的发展。现有的行人检测跟踪技术主要采用单目相机,由于其受天气、光照变化及阴影等因素影响较大,使之在环境变化比较复杂的时候使用很受限制。除此之外,行人的高机动性、形态多变性、人群遮挡等都会对检测跟踪结果造成干扰。本课题针对传统的利用相机或激光雷达等单传感器进行行人检测跟踪的局限,为了增强系统对周围环境变化、目标姿态变化、成像角度变化的适应能力以及系统对多目标跟踪任务中的目标遮挡、出生/死亡、数据关联等问题的处理能力,利用三维激光雷达和相机组合的方式,通过融合激光点云和视觉互补信息展开行人检测与跟踪技术研究,提出一个能够实际应用的多目标检测与跟踪框架。论文主要完成的工作如下:(1)激光雷达和相机的联合标定。两传感器联合标定精度直接影响后续检测结果融合的精度,文中针对激光点云特性设计特定形状的镂空菱形标定板,利用两传感器数据的对应特征点对,采用最小二乘法直接求解出投影变换矩阵,简化了分别标定内、外参数的繁琐步骤。(2)稀疏且空间分布不均匀点云数据的分割聚类。VLP-16激光雷达采集到的点云数据量非常巨大,受测量距离的影响点云密度空间分布不均匀,叠加许多离群点和噪声点。现有点云分割算法大都基于点云密度均匀的假设,抗干扰能力弱。本文从激光雷达测量原理出发,针对三维稀疏点云场景,提出一种基于目标表面几何特性的快速点云数据分割聚类算法,并与目前几种典型点云分割方法进行对比,证明了该方法的优越性和良好的抗噪性。(3)基于激光点云与图像的目标检测。利用两传感器联合标定得出的投影变换矩阵和点云分割聚类结果,提取疑似目标点云区域对应的图像区域作为感兴趣区域(ROI),减小ACF算法提取特征时的计算量和滑动窗口的搜索空间;根据目标几何形状、3D点云分布、回波强度概率分布及姿态等信息提取目标点云特征,利用离线训练的SVM分类器实现基于激光点云的目标检测;为了增强系统的容错能力,利用Bayes统计决策理论和最小化后验风险准则,在决策层融合两传感器独立检测结果,提高系统检测精度。(4)多目标跟踪过程中丢失状态的数据关联。强化学习任务最直观的描述是马尔科夫决策过程(MDP),其从动作、状态和奖赏三个层面抽象智能体与环境的交互过程,文中将多目标跟踪任务转化为MDP中的状态转移过程,采用MDP跟踪框架完成多目标跟踪。针对目标间遮挡的数据关联问题,文中结合离线学习和在线学习的优势,将学习过程与跟踪过程同时进行,使得MDP能够根据目标运动状态和历史轨迹做决策,并根据目标真实地面标注文件给出的反馈更新用于的数据关联的相似函数,成功将含有噪声的检测结果与被跟踪目标关联,提高跟踪质量并有效的解决了目标遮挡问题。