图像分类作为计算机视觉领域的热门研究方向之一,已成为模式识别、人工智能等相关领域的重要基础。同时,深度学习技术的出现推动了图像领域的发展,随着深度学习在计算机视觉领域的不断突破,深度神经网络以其强大的学习能力提升了图像识别的各项评价指标。然而,在海量的数据中,不同的图像数据集存在各自不同的问题,从而限制了其识别能力。此外,图像分类任务中的非平衡问题在现实应用中也十分常见,已成为机器学习和数据挖掘领域中的突出问题之一。高度非平衡的高维图像数据的分类问题仍旧面临着巨大的挑战,尤其是在某些少数类样本十分有限的情况下,问题难度大大增加。目前基于过采样的方法生成的样本容易局限在有限的真实样本附近,从而导致数据分布上的平衡度远远低于样本数量上的平衡度。因此,研究针对少数类样本稀少的高度非平衡的高维度图像分类问题具有很高的学术意义。其中,权衡生成样本质量和多样性之间的关系是非平衡问题中的重要研究目标之一。已有的方法主要包括样本级别上的操作、基于模型的搜索,或通过加入噪声这种随机性较强的方式增加多样性,而缺少特征层面的研究。因此,基于特征的方法还有待深入探索。本文将深度学习理论与相关生物视觉机制以及进化算法结合,通过分析问题的特点及需求,完成如下研究工作:（1）针对图像分类任务中相似类别的图片易混淆、目标相对于背景图案不突出的问题,受生物视觉系统中视觉感知过程以及视觉记忆机制的启发,提出了一种基于视觉长短时记忆（Visual Long-short-term Memory,VLSTM）的神经网络集成模型。VLSTM模型由视觉感知模块、视觉短时记忆模块和视觉长时记忆模块并行集成。根据不同模块的特性,选择并设计相应的网络模型,从而模拟生物视觉系统分别提取图片的视觉感知信息、视觉短时记忆信息和视觉长时记忆信息。VLSTM集成模型在两个公用数据集上进行了评估,实验结果表明,VLSTM在不同模块上提取的特征一定程度上是互补的,且符合各自模块代表的视觉信息的特性,并获得了优越的分类性能。（2）在高度非平衡且少数类样本数目有限的高维度图像分类问题上,为了挖掘同一个数据集中少数类样本和多数类样本之间的关联性和分布相似性,实现多数类样本到少数类样本的知识迁移,提出了基于条件变分自编码（Conditional Variational Autoencoders,CVAEs）的自迁移（CVAEs based Self-Transferred,CVAE＿Se Tred）算法。CVAE＿Se Tred算法集分布学习（Distribution Learning）、自迁移学习（Se Tred Learning）、图像生成（Image Generation）以及数据集再平衡（Dataset Rebalancing）于一体,并在两个非平衡数据集上验证有效性。实验证明该模型能够稳定收敛,且可以学到既具有域不变（Domian-invariant）性质又服从多维高斯分布（Multivariate Gaussian Distribution）的关键隐层特征。（3）由于生成的数据分布与真实数据的分布相似程度决定了生成数据的质量和多样性,针对非平衡问题中生成样本的质量和多样性之间的权衡问题,提出基于改良的分布式估计算法的隐层特征分布进化（Modified Esitimation Distribution Algorithm based Latent feat Ure Distribution Evolution,MEDA＿LUDE）算法,通过深度神经网络和进化算法联合学习隐层特征空间的最佳分布。在MEDA＿LUDE算法中,探索了最大间隔高斯混合（Large-margin Gaussian Mixture,L-GM）损失函数在我们假设的更为复杂的条件下对分布学习的作用。同时为了满足质量-多样性间权衡的需求,设计了基于样本之间相似度的适应度函数,改进了分布式估计算法进化隐层特征分布的方式,从而引导隐层特征分布空间的搜索。MEDA＿LUDE可以生成兼顾质量和多样性的样本,并在两个非平衡的公用数据集上得到了有效验证。（4）针对纺织工业背景下织物疵点分类及非平衡问题,提出了具体的应用解决方案。首先,依托东华大学数字化纺织服装技术教育部工程研究中心所提供的硬件采集设备,采集、处理并构建了东华大学织物疵点数据集及其非平衡数据集。此外,基于阿里云公开的织物疵点原始图像构建了阿里云织物疵点数据集及其非平衡数据集。针对纺织背景下织物疵点分类任务中相似类别易混淆、缺陷相较于纹理背景不够突出以及非平衡问题,结合织物疵点图像的结构特性和数据特点,研究了相应的深度网络模型并设计了具体的网络参数。在构建的数据集上的实验结果表明,我们设计的网络模型相比于其他方法能有效完成织物疵点分类任务。