高光谱成像技术通过观测场景下拥有几十上百个相邻窄波段的图像或视频,获得丰富的时间、空间和光谱信息。通过对高光谱数据进行校正和分析,我们可以对场景中每个像元构建一条连续的光谱曲线,应用于矿藏勘探、物体检测、医药科学、环境监测、军事追踪等领域。因为高光谱成像需要获取大量窄波段光谱数据,实时高空间分辨率的高光谱数据是一个研究难点。由于彩色视频可以看做高光谱视频在光谱维的积分,二者有十分相似的空间纹理和较强的光谱相关性,且现有彩色相机可轻易获取高空间分辨率以及高帧率彩色视频,所以从彩色视频重建高光谱视频是一个理论上可行且实用的方案。此外,实际生产应用中,为减轻存储和传输负担,我们获取的彩色视频往往是未知量化参数量化后的压缩视频。因为量化参数不同的彩色视频的质量存在明显差异,所以对压缩后的彩色视频进行分析,化未知量化参数为已知,成为自适应地重建高光谱视频的研究关键点。本文旨在用深度学习的方法从彩色视频重建高光谱视频。围绕着这一核心,研究内容分为基于未压缩的彩色视频和压缩后彩色视频重建高光谱视频两方面,利用彩色视频与高光谱视频之间的空间和光谱相似性,以及彩色视频多帧之间的信息冗余,学习彩色视频到高光谱视频的映射关系。具体来说,本文的主要工作和创新之处可以总结为:1.将未压缩彩色视频重建高光谱视频的问题换为对未压缩彩色视频进行光谱超分辨率。通过构建基于多尺度图像金字塔的运动补偿网络,我们首先对多帧彩色图进行对齐,然后送入基于残差网络的全卷积网络进行信息融合和光谱超分辨率,得到重建的高光谱视频。与现有的其他方法相比,本文的高光谱重建方法有效利用了帧间相关性,可以显著提升高光谱重建结果的主客观质量,并且速度很快。2.针对未知量化参数的压缩后彩色视频重建高光谱视频的问题,我们首先提出新颖的量化参数判别模块对视频的量化参数进行判断,并且对多帧彩色图进行基于特征金字塔的运动补偿。然后将量化参数信息和对齐后的多帧图片一起送入多帧融合的高光谱重建单模型框架,根据量化参数的判断结果,对不同质量的视频进行自适应处理和光谱超分辨率。因此占用较少的计算和存储资源。测试集上的实验结果显示,在多种不同的量化参数下本方法都具备良好的光谱重建效果。