伴随着手机等移动设备的大量普及,电信业务快速发展,运营商之间的竞争愈发激烈,如何有效地发现潜在的流失用户成为了运营商关注的重点问题。考虑到保留原有客户的成本远低于吸引新客户的成本,有效的用户流失预测模型可以为运营商制定保留策略提供辅助,降低运营商的运营成本。现有的用户流失预测模型需要配合复杂的特征工程,耗费大量人力与时间成本,且容易导致维度爆炸问题,还忽略了不同特征之间的交叉关系。针对以上问题,本文提出了两种基于注意力机制的用户流失预测模型。提出的模型能够缓解维度爆炸问题,挖掘样本中潜在的特征交互信息,具备自动特征学习的能力。并基于提出的改进用户流失预测模型,实现了用户流失预警系统,适用于离线场景下的用户流失预测任务。本文的主要工作如下:（1）提出了基于自注意力机制和图卷积的用户流失预测模型。通过特征嵌入结合Transformer结构的方式对类别特征进行映射,缓解了维度爆炸问题,并保留了特征值之间的关联关系。再采用自适应邻接矩阵定义图卷积操作,挖掘不同特征之间的潜在交互关系,使模型具备了进行自动特征学习的能力。在多个数据集上和多个模型进行比较,证明了模型具有良好的预测性能。（2）提出了基于交叉注意力和特征抽象的用户流失预测模型。针对前一个模型存在的输入特征未被充分表示以及模型不能学习高阶特征等缺点进行改进。首先通过改进的特征嵌入层将类别特征和数值特征映射到同一特征空间,并采用基于样本与特征的交叉注意力机制构建基于行与列的上下文特征表示。然后结合特征抽象模块对底层特征组进行特征选择和特征抽象来构造高阶语义特征。改进的模型进一步挖掘了特征间的潜在联系,提高了分类预测性能。（3）基于改进的用户流失预测模型,设计并实现了适用于离线场景的电信用户流失预警系统。该系统通过大数据组件实现对海量用户数据的存储和分析,整合模型训练模块和用户细分模块提供决策辅助,最终通过决策层为目标用户制定挽留策略,能够满足实际场景中用户流失预警业务的需求。