人体细胞结构变化(尤其细胞核大小的变化)可为癌症诊断提供重要依据。目前组织学分析和荧光显微镜检查仍然是细胞检测的首选方法。近年来,尽管细胞荧光显微技术取得了进步,但这些技术基于非相干成像,需要训练有素的专家染色、采集和读取,耗时长,成本高,而且染色会损害细胞,属于有损检查,因此迫切需要寻找一种无需染色的无损检测方法。论文通过相干光激励前列腺单细胞,实现了细胞偏振衍射成像。选用灰度共生矩阵(Gray-Level Co-occurrence Matrix,GLCM)提取了偏振衍射图像(p-DI)的特征参数,并基于机器学习对正常和癌变前列腺细胞进行了准确分类。这种方法不需对细胞荧光染色,实现了细胞的非接触、非标记分析和诊断,数据的测定是在完全无损的自然状态下获得的,不会对细胞有损害。主要研究内容有以下几个方面。第一,以真实前列腺细胞共聚焦显微镜图片为基础,建立了多细胞器(细胞核、细胞质、线粒体和溶酶体)结构的三维光学细胞模型(OCM),弥补了传统细胞模型结构单一、过于理想化的缺陷,有效解决了实验过程中获取细胞p-DI对易掺入杂质的问题,极大丰富了p-DI对的多样性,为建立细胞衍射图像库提供了便利。第二,开发了与本课题组研发的偏振衍射成像流式细胞仪(Polarized-Diffraction Imaging Flow Cytometry,p-DIFC)光学结构相同的衍射成像仿真系统;基于离散偶极子近似(DDA)理论及光学追踪软件(Zemax),得到了正常和癌变前列腺细胞的仿真衍射图。对比仿真衍射图像与实测衍射图像发现两者大致相符,说明了开发仿真系统的可靠性和正确性。第三,在OCM中改变细胞核大小,仿真研究了细胞核体积对衍射图像的影响。结果表明,细胞核体积的变化对衍射图的影响较为明显,与实验结果高度一致。第四,基于GLCM的纹理特征和机器学习的数据挖掘,利用无监督学习和有监督学习对正常和癌变前列腺细胞进行了分类。研究发现,有监督学习中的支持向量机(SVM)算法能够有效解决GLCM参数因多维特性难以区分不同细胞类型的问题,且SVM分类准确率可达95%左右,而无监督学习的细胞分类准确率较低。