随着物联网的发展,各种传感器时序信号记录信息越来越完善,采样频率越来越高,业界需要一种既准确又快速的方法对时序数据进行数据挖掘从而为下游任务服务。时序数据重建是指通过训练模型忽略信号“噪声”来学习一组数据的表示,尝试从简化编码中生成尽可能接近其原始输入的表示形式。而异常检测则是时序信号重建的一个应用,也是航天领域研究的热门方向。本文主要应用自然语言处理中的注意力机制来处理时序数据,包括重建、异常检测、关系提取和相关模型的优化加速。本文主要工作如下:1)验证了注意力机制在时序数据任务中的作用,将注意力机制嵌入LSTM（Long Short Term Memory）自动编码机。首先确定了一步预测,其次比较了高存储数据集不同工况下的子数据集的重建效果对比。针对其他三个不同场景的重建效果对比。同时给出了绝对误差和DTW（Dynamic Time Wrapping）误差上的重建指标对比。最后借助动态阈值分割,在NASA航天器故障数据集上进行异常检测对比。2)针对LSTM模型运算速度较慢和不能提取远距离关系的缺点,引入了自然语言处理中主流的Transformer模型。重建实验表明Transformer在部分数据集上占优势,同时在所有数据集上计算耗时大大降低。异常检测试验表明Transformer几乎可以达到同样的异常检测精度,同时分类实验表明Transformer可以提取人为指令在整段序列尤其是异常序列的关系,有助于航天器故障的人为因素分析。3)针对异常检测的实际部署场景中Transformer模型的体积和速度瓶颈,从算法和工程的角度进行优化。使用蒸馏网络成功压缩了模型体积,相比较直接训练的网络精度更高。使用混合精度训练来加速训练过程,使用低精度推理来加速推理过程。实验表明,针对时序数据,Transformer模型的压缩和加速是成功的。