不管是传统的机器学习,还是现在的深度学习,事件序列预测任务都始终贯穿了它们的发展历程。具体而言,机器学习模型需要从事件序列（Events Sequence）中提取合适的历史信息,并通过这些历史信息得到未来事件的条件概率分布,从而实现对未来事件的预测。一般而言,深度学习使用循环神经网络（Recurrent Neural Network,RNN）,或是带有掩盖机制（Mask）的自注意力（Self-Attention）模型,将历史信息压缩到一个高维空间的向量中,随后基于该向量构建概率分布。这种算法有两个缺点:1.可解释性较弱2.作为算法理论依据的马尔可夫过程未考虑到事件密度的影响,即事件之间的时间间隔。虽然可以将时间作为一个基础特征,输入到序列模型的历史信息之中,但是受限于当下深度模型可解释性弱的问题,目前并未找到可以通过模型参数,揭示它所学到的时间特征与预测结果之间关系的方法。而若将时间视作预测标记的一部分,由于未来事件的预测分布与编码历史信息的向量直接相关,所以在历史信息确定的时候预测分布便已经确定。这也就意味着,预测的结果与实际事件与历史事件之间时间间隔是不相关的,而这显然与现实世界的经验矛盾。上述就是时序点过程（Temporal Point Process,TPP）希望解决的问题。目前,时序点过程在医疗记录预测,地震记录预测,社交网络虚假信息的模拟与干预,以及传统的推荐系统领域均有广泛的应用。时序点模型的训练依然较为困难,原因在于训练过程中涉及了强度函数的选取,以及其负对数损失（Negative Log Loss,NLL）同时与强度函数与强度函数的定积分有关。由于在传统的时序点过程中,模型模拟的都是强度函数本身,使得强度函数的积分只能使用蒙特卡洛估计,Runge—Kutta法等数值积分方法得到,导致准确性得不到保证,训练速度很难提高,模型的大小也会受限。然而,如果复杂的深度网络模型拟合的不是强度函数,而是强度函数的积分,这个问题就不复存在了:损失函数由强度函数和它的不定积分的和变成了一个函数以及它的导数值的和。由于现代深度学习模型均基本使用反向传播训练,所以导数值会由现有的训练框架自动算出,不需要任何估计。然而,由于一些难以实现的数学限制,使得已有的模型所拟合的概率分布并不符合一些概率分布的基本性质。本文由此修改了已有时序点模型的结构,以期对已有模型进行改进。首先,本文研究如何在尽可能满足时序点过程的数学限制下,令深度模型学习强度函数的定积分。由于定积分在积分上下限相等时的值一定等于0,而传统设计思路可能会导致不可避免的历史信息丢失,我们便根据Transformer和矩阵乘法的思想,改变了原有模型中一个全连接层的定义,将其中恒定的权重修改为历史信息和时间的函数,并利用矩阵乘法的性质最终实现在特定点上得到特定输出。由于时序点过程的负对数损失存在一个下界,且这个下界与数据集和强度函数直接相关,所以不能简单使用负对数损失来表示模型学习的好坏。针对这个问题,我们首先记录了数据生成时的强度函数值和理论损失值,随后通过比对理论强度函数的图像和模型所学分布的图像,以及模型输出的负对数损失值与数据集记录的理论损失值之差来综合判断模型的准确度。相对于只使用负对数损失值,这种判断方法更加准确。另外,已有的此类模型是基于基本时序点过程的,它们通过比对不同事件的强度函数的相对大小,对未来事件类型进行判断的机制。我们随后在最初的模型上加入事件预测模块,将历史信息编码器换为Transformer,实现了对事件类型的预测。在这个过程中我们发现已有的softmax函数在直接处理只有正值的输入时可能会导致模型在强度函数的学习上出现不稳定。为了解决这个问题,我们参照已有的Transformer最佳实现,添加了倒瓶颈层（Reversed Bottleneck）,并通过大量实验证明倒瓶颈层中的正则化可以大大增强训练稳定性和准确度。这项工作将使用积分拟合时序点过程的模型推广到了时间—事件空间中,使其可以更好地解决现实问题。