计算机辅助诊断(Computer-aided Diagnosis,CAD)作为一种新型诊断技术,其高效、客观的诊断结果可以帮助医生更好的了解患者病情。为了更好的实现计算机辅助诊断,本文从视觉和触觉两个方面进行相关研究。视觉方面主要对二维和三维医学图像进行纹理特征分析,并根据分析结果给出诊断结果;触觉方面主要是对图像进行纹理触觉渲染,再通过力触觉交互设备以作用力的形式展现虚拟物体表面的触觉信息。本文主要研究内容如下:(1)在对二维医学图像识别过程中针对两种不同应用场景,分别是黑色素瘤皮肤病应用场景和肝脏肿瘤应用场景,本文提出了一种基于卷积神经网络(Convolutional Neural Network,CNN)的自动诊断框架。框架主要包括图像预处理、分割和分类三个部分,并依据应用场景的不同对这三个部分采用相应的处理方法。在场景一对黑色素瘤识别中,由于图像获取过程中存在的光照问题,本文在预处理中加入了光照评估处理;黑色素瘤与周边正常皮肤组织的颜色差异明显,本文提出了基于色差的Grabcut分割方法;在场景二对肝脏肿瘤识别中,肝脏CT图像主要存在椒盐噪声,故在预处理中加入中值滤波;考虑到每组肝脏有上百张CT图片,本文采用U-Net自动分割方法,高效地完成肝脏分割;考虑到二维医学图像主要展现了病变区域表面的纹理特征(Texture Feature),且不同的纹理特征能反映病变区域不同时期的病理情况,故在分类部分中对两个应用场景均采用CNN提取图像纹理特征,端到端地自动完成图像分类,实现计算机的辅助诊断。(2)相对于二维医学图像,三维图像可以展现更多、更全面的信息,故在对三维医学图像识别中,本文基于改进LBP方法对三维肝脏图像进行了纹理分析,完成三维肝脏肿瘤的识别。改进LBP方法分别有网格LBP、VLBP和LBP-TOP。在网格LBP中,首先对二维肝脏CT图像采用移动立方块的面绘制方法得到肝脏的三维网格模型,其次在三维网格模型上采用LBP纹理分析方法,其中根据肝脏肿瘤病变区域的特点,在网格LBP方法中本文提出了新的关键点提取办法,即提取了图像形状指数最高的5个点。VLBP和LBP-TOP是将LBP方法扩展到动态纹理分析,即考虑了图像前n帧图像和后n帧图像的LBP特征。最后通过实验展现了三种改进LBP方法在三维肝脏肿瘤识别方面的效果。(3)触觉感知是人类除视觉感知以外一项重要信息来源,基于此,本文提出了一种增强纹理力计算方法,通过触觉再现(Haptic Display)的形式帮助医生进一步了解患者的组织器官,以便对病情的进一步分析。由于图像像素点的梯度值能更好的展现物体表面的凹凸信息,故该方法在传统纹理力的基础上添加了梯度反馈力。梯度反馈力是一种当像素点的梯度值达到设定阈值时存在的作用力。最后通过实验验证了增强纹理力较传统纹理力可以提高图像识别准确率,且能使操作者有更好的沉浸感和真实感。