随着智能成像设备的普及和互联网的快速发展,图像数据呈现爆发式增长。然而,互联网上的大部分图像是没有对应的语义描述的,这使得人们很难有效利用这些图像信息。人工标注耗时耗力,而且存在个体差异。图像描述生成模型可以为图像数据自动生成相匹配的字幕,这广泛应用于智能搜索、人机交互等领域。近年来,随着深度学习算法被引入到图像描述生成任务中,模型生成的字幕质量显著提升,在个别指标上甚至超过人类。然而,现有数据集中单词分布的非平衡性,使得基于深度学习的模型应用于字幕生成时倾向于头部类词,这导致生成的字幕不够丰富和准确。本文从单词级别,字幕级别,以及二者混合的方式缓和图像描述生成中的非平衡问题。主要贡献总结如下:1)提出了基于非平衡分布单词重加权的图像描述生成方法。图像描述生成任务中的非平衡问题比分类任务中的非平衡问题更加复杂和困难,其非平衡问题更加严重并且存在不同频率单词在同一个字幕中共现的问题。因而现有的应用于分类任务的反转频率加权（IFW）方法和焦点损失（Focal loss）方法不能直接应用于图像描述生成任务,本章修改了方法使之适用于图像描述生成任务。相比较于基准模型,IFW和Focal在召回率、精确率和F1得分上均获得了提升。此外,本章提出了字幕级重加权（CLR）方法,依据字幕的非平衡度进行重加权。相较于其他方法,CLR取得了更高的精确率和F1得分。2)提出了基于非平衡分布单词解耦的图像描述生成方法。首先针对图像字幕中的不同频率单词共现问题,提出了掩膜解耦方法,将字幕中的单词依据训练词频解耦到不同的子集中。在解耦的基础上,提出了解耦长短时记忆模型（D-LSTM）和解耦知识蒸馏（DKD）方法。D-LSTM将不同子集中的单词解耦到不同的LSTM中,该模型证明了解耦的有效性。DKD为不同子集中的单词设计不同且合适的学习策略,如知识蒸馏和交叉熵。这使得模型在各个子集上都能取得较好表现,同时子集间单词分布更平衡。子集内部反转频率加权（S-IFW）方法可以与DKD方法相结合使得子集内更平衡。更平衡的数据分布可有效避免模型过配到高频词的生成上。与其他方法相比,DKD在召回率、精确率和F1得分上获得了更高的性能。3)提出了基于课程学习调整非平衡数据的图像描述生成方法。课程学习是解决非平衡问题的有效方法,主要方式是模型按照从简单样本到困难样本的顺序训练。对于IFW,按照单词词频设计了单词学习课程（C-IFW）。对于CLR,按照字幕非平衡度设计了字幕学习课程（C-CLR）。同时使用单词学习课程和字幕学习课程（DCL）,相比于单课程方法在低频词的生成上有了进一步的提升。对于DKD方法,本章设计了数据集学习课程,通过替换数据的方法来设计课程（C-DKD）让模型在不同阶段侧重学习不同子集的单词,而且引入了损失衰减来消除教师模型的理论上界带来的消极影响。原来的方法结合课程学习后,对图像字幕生成的性能均有提升。