在生物医学的许多应用中,实现显微序列图像中癌细胞的检测与多目标自动跟踪是记录并分析癌细胞生命周期活动状态的基础,对药物开发、疾病诊断和治疗等具有重大的意义。相衬显微镜作为一种新型显微技术,可不对细胞进行染色,在自然状态下观察活体细胞,有利于癌细胞生命周期的监测及后续的动态分析。而相衬显微镜下的癌细胞存在前后景低对比度、形状多变、部分遮挡、高度密集等挑战性问题,传统的目标跟踪方法难以解决这些问题。本文基于深度学习算法,尝试实现显微序列图像中多个癌细胞的检测与跟踪。首先,本文基于Faster R-CNN检测算法实现癌细胞的初步检测;然后对检测结果进行分析,针对存在的问题,提出相应的解决方案,进一步优化检测算法,提高检测精度;再以此为基础,提出基于检测的多目标跟踪算法,得到初步的跟踪结果;最后在初步跟踪结果的基础上,结合癌细胞的具体特点,优化跟踪算法,提高跟踪效率。本文的主要工作和创新点如下:(1)针对检测阶段出现的癌细胞高密度问题,本文提出了将密度估计算法融入Faster R-CNN检测算法,构建了多任务loss函数,改善了检测效果。(2)针对相衬显微镜下癌细胞特征单一的问题,本文提出了多特征融合的细胞跟踪算法,在跟踪阶段深度融合目标检测结果中的目标位置信息、速度信息以及卷积特征,构建了多特征描述子,提高了特征的表征性。(3)针对跟踪阶段计算量大的问题,本文提出了分层次的细胞跟踪算法,根据癌细胞的活跃程度,将癌细胞简单分为惰性细胞和活跃细胞,再按类别分层次对细胞进行跟踪,提高了跟踪效率。(4)针对跟踪阶段出现的漏跟及错跟问题,本文提出了将上下文信息融入到跟踪算法中,并优化跟踪效果。上述方法在ISBI2015挑战赛的两大公共数据集和剑桥大学膀胱癌T24数据集上进行了一系列测试,实验结果表明,本文优化后的检测算法及跟踪算法的性能在不同数据集上都有一定的提升。