多模态生成是跨越多种模态进行表示、对齐、推理、整合和转化等操作的生成任务,是人工智能领域中极具科研价值与应用价值的研究方向,近年来受到了计算机视觉和自然语言处理等多个社区的关注。作为一个典型的多模态生成任务,视觉叙事非常具有挑战性且尚未被完全开发,其定义是给定一组有序的图像,根据图像信息生成与图像内容相关、语句通顺且具有逻辑一致性的故事文本。在前人的工作中,一个通用的范式是使用预训练卷积神经网络作为图像特征表示提取器,将提取的图像特征输入循环神经网络中进行解码生成。这类范式存在着不足之处:首先,以卷积神经网络提取图像特征表示的方法可能会限制跨领域图像语义信息的发掘,因为卷积神经网络被用于提取特征时往往在不同领域的数据集上进行,由于没有在目标领域中进行微调,提取到的图像特征可能缺少相关领域的高级语义信息。其次,循环神经网络采用决定信息去留的门机制,不适用于图像信息和文本信息的融合。针对以上传统范式的不足,本文提出基于纯Transformer的序列图像故事生成范式的方法。为了挖掘图像深层语义信息,本文使用Vision Transformer替代卷积神经网络进行图像特征提取,该模块能够直接参与到整个模型的训练中,通过不断调整自身权重达到微调目的,有助于获取更有效的图像特征表示。同时本文分别提出基于序列到序列的Vision Transformer（SSVT）模型和基于条件变分自动编码器的Vision Transformer（VAVT）模型。值得一提的是,VAVT模型以图像表示作为先验网络输入,以图像文本联合表示作为后验网络输入,通过KL散度拉近两个网络输出分布来显式融合两个模态。本文通过对比实验、消融实验、实例分析和可视化分析验证本文所提出模型的有效性。这也可以为Transformer在多模态生成任务提供参考和借鉴。