论文部分内容阅读
图像是日常生活中最常见的信息源之一。相对于其他信息源,图像信号包含的信息量巨大,其复杂、冗余等特性将其和其他种类的信息源区分开来。对图像信号的处理难度相对较高,而人类视觉系统在图像处理方面展示了极其出色的能力,吸引了许多研究者的关注。研究者希望通过仿生的方法,用人工神经网络来模拟人类视觉系统的识别能力。在浅层人工神经网获得一定成功之后,深层神经网络的研究由于遇到了训练代价过高、陷入局部最优解等困难而一度沉寂。近年来深度学习模型的应用使深层神经网络的研究有了新的进展,带来了新的研究热潮。本文在研究深度信念网(deep belief network, DBN)的基础上,构建了一种能跨问题领域识别图像的深度信念网模型。根据DBN网络分层抽取图像信息的特点,本文使用底层共享高层分离的方法,将多个领域的DBN模型底层合并起来抽取样本空间的低层特征,而高层神经元相互分离,各自抽取本问题领域的高层特征。共享层神经元在抽取低层特征的同时也对输入样本的问题领域进行初步识别,将输入样本导入对应的高层神经元,而高层神经元将给出样本在对应领域的识别结果。这种跨域DBN模型是对人类视觉系统跨问题领域图像识别能力的模拟,具有仿生学意义。同时,神经元底层共享的结构使得本文模型能够利用领域混杂的无标签样本对底层模型进行无监督学习以提高识别性能,这在具有海量领域混杂无标签样本的网络环境中具有积极意义。另一方面,高层分离的神经元使得本文模型可以从模型上进行并行计算,减少网络的训练时间。本文使用Theano库实现了跨域深度信念网模型,并在MNIST字符数据集和COIL物体数据集上验证了识别结果。实验证明,本文模型与传统模型的识别效果相当,而在领域混杂的无标签数据集大于有标签数据集的情况下,本文模型可以达到更好的识别效果,说明除了仿生角度的意义之外,本文模型还能利用领域混杂的无标签数据集发掘有价值信息。同时,本文研究表明,在多层神经网络中,底层神经元在有监督训练中的工作可以被无监督训练替代。根据这个发现,本文修改了传统DBN的训练方法,使本文模型可以方便地实现并行优化。本文还使用Hadoop框架为本文模型设计并实现了并行优化。实验结果表明,在各领域样本集大致相等的情况下,并行框架能够有效地提升模型训练速度。