图像视频生成是一种将源人物转换为给定任意目标姿势的合成图像/视频技术,其中目标人物的外观和纹理与源人物保持一致。图像视频生成可以应用在互动娱乐、影视特效合成、时尚造型设计以及图像/视频数据集增强等广泛场景。然而,在图像生成技术中,目前的生成方法通常会忽略人物图像的详细外观和纹理信息,模型复杂且难以训练。现有的视频生成算法未考虑到视频背景环境对人体姿态估计精度的影响,以及背景在运动转移研究范畴中的结合而缺少视觉吸引力。针对以上问题,本文就图像视频生成技术开展研究,主要内容和创新点包括:(1)在图像生成领域中,提出了由两个生成器和两个鉴别器组成的多尺度条件生成对抗网络,以解决生成高精度的人体姿态图像并同时保留外观细节的难题。第一个生成器将条件人物图像整体转换为目标姿势的粗略图像,另一个通过局部增强网络提高合成人物的图像质量。将两个生成器的输出合并为可判别的高分辨率合成图像,联合全局生成和局部细化可以同时对合成图像的精度与质量进行建模。通过在Market-1501和DeepFashion数据集上进行实验以评估所提出的模型,定性和定量结果均证明了所提出模型的优越性能。(2)在视频生成领域中,提出了源场景保留人物视频生成算法。首先,利用分割出人物外观的视频帧代替源视频帧作为网络输入:其次,使用运动转换模型将源视频中的人物替换成目标人物并保持动作一致性;最后,将人物外观与源人物背景融合,去除边界异常像素,将人物自然地融入源场景且避免改变画面背景环境和整体风格。我们使用人体骨架图作为源视频和目标视频的中间表示,减少背景干扰,提高姿态估计精确度,自然地实现运动转移过程中源场景的保留,生成艺术性与真实性和谐并存的人物视频。(3)基于姿态引导的场景保留人物视频生成算法是首个在不同视频人物对象之间实现目标姿势迁移和背景切换的方法,可以完成源人物与目标人物的运动迁移和背景转换工作,最终的生成视频将展现目标人物在源背景下执行源人物的动作。相比于其他融合方法,此方法使目标人物与源背景环境完全融为一体且无明显的边界像素差,具有重要的应用前景和经济价值。