论文部分内容阅读
在现实世界场景中，数据一般分为静态和时间序列数据。复杂的时间序列数据，例如医学上的多通道采样的生物电信号，运动学上的多通道的关节运动数据，大城市长时间的交通数据流等。不同于静态图像信号中“背景”与“主体”保持高度的独立性，在时间序列数据中，时间戳数据之间的信息往往是互相关联的。在以往的研究中，通常用人工智能算法模型学习时间序列数据的相关性，模型表现受限于学习效率问题，时域特征表达能力差，对长程的时间序列的预计效果不明显，泛化能力有限的问题。本论文针对复杂时间序列数据开展研究，主要研究工作包括：
1.针对复杂时空域时间序列信号，提出了多脉冲协同点火机制的概率调制脉冲神经网络模型:复杂的时空域时间序列信号分别具有时间维度和空间维度，在传统脉冲网络算法中，神经元往往使用单脉冲点火机制，对时空域信号的表达能力有限；另外，由于脉冲神经元的膜电势的离散特性，很难直接使用标准梯度下降进行优化。本文提出了基于概率调制的脉冲神经网络模型，引入贝叶斯机制，计算点火序列在每一时刻的点火概率，将离散的神经元膜电位计算机制进行连续化处理，故有效的减少了网络的迭代次数。通过连续的点火概率密度，实现多脉冲协同点火机制，对复杂时空域信息进行表征。在处理复杂时空信息数据时，概率调制脉冲网络结合了高波滤波， Max Competition层，异步运动信号检测子组成时空域信息学习框架，相较于传统及其学习算法，该框架具有更好的学习效果。此外，脉冲神经元的点火通常是异步的，使得脉冲网络兼具了容易硬件实现的优点。通过与传统的时空域学习模型进行对比，实验结果表明基于概率调制脉冲神经网络取得了更少的学习参数和更高的学习效率。
2.针对长程的时间序列信号，提出一种基于“监控子”递归脉冲神经网络预测模型: 对于长程的复杂时间序列预测问题，本论文将脉冲神经网络作为一个动力学系统，引入递归机制的脉冲储蓄池(reservoir)结构，并在每个脉冲神经元中嵌入“监控子”机制，在线追踪训练的动力学系统中状态空间主成分，使网络能够对长程的复杂时间序列信号进行恢复和预测。通过与传统的时间预测模型进行对比，对于目标模式预测，实验结果表明“监控子”递归脉冲神经网络不仅实现高度的拟合，并且具有高的脉冲效率及记忆存储能力。
3.针对于时间序列特征表达能力，提出了一种基于集成脉冲自编码器学习模型：对于单元(Univariate)时间序列，多元时间序列(Multivariate)和多通道(Multi-channel)时间序列问题，本论文将脉冲神经网络泛化到深度自编码器模型中。针对人工特征时域特征表达能力差的问题，新网络模型对时间域中特征进行自动提取，本文提出了多阶，双向连接的储蓄池结构。根据网络收缩性的理论证明，表明相较于传统的脉冲网络模型，新模型的结构具有更强的收缩性能。对于处理复杂的多通道时间序列，将多个脉冲网络集成起来，最后经过卷积网络作为输出端。通过与传统的时间序列学习模型进行对比，与流行的深度模型进行了比较，结果展示了集成脉冲自编码器网络针对时间序列的分类问题取得了更好的表现。
4.针对时间序列信号的不确定性预计问题，提出了一种基于“MBPEP”的深度集成网络检测模型: 传统的人工智能模型通常只适用于训练数据和测试数据分布相同的情况，因此设计一个高质量的机器学习解决方案去处理训练和测试数据分布不一致情况是困难的。本文将传统的深度学习模型作为基分类器，通过设计引入深度集成模型“MBPEP”，通过由非线性激励元所组成的上下界预计范围宽度变量(MPIW)以及收敛概率预计置信度(PICP)构造损失误差函数，来解决基于时间序列的不确定性预计问题。通过基于时间序列的不确定性分类和回归实验，通过与传统的不确定性预测模型进行对比，结果展示了MBPEP深度集成网络模型提升了不确定性预计的效果。
5.针对学习模型的泛化能力，提出了一种基于边缘尺度的帕累托集成切割模型：为了增强模型的泛化能力，寻找提升模型表现的方法，我们对单个分类模型的决策边界进行研究。基于传统的机器学习模型，提出了边缘尺度的帕累托集成切割模型，通过帕累托优化进化算法以及边缘切割尺度寻找，在过生产阶段应用帕累托优化算法(PO)[计算集成池中的优化尺寸；在切割阶段，为了集成切割模型能够在不精确域(indecision region)中能够检测到不同类别，新模型利用边界切割尺寸机制(MCP)计算基分类器的局部信息，进一步优化集成尺寸的大小。根据MCP规则，不精确域中包含更多的信息量的分类器将被切割。通过在时间序列数据集上的验证，与传统的集成切割模型进行了比较，结果展示了基于边缘尺度的帕累托集成切割模型能提升模型泛化能力。
6. 实现了对脉冲网络算法进行加速的优化: 面对海量高维度的训练数据处理时，基于时空域信息的脉冲神经网络的训练速度是亟待解决的问题。由于脉冲神经元并行产生点火时间序列的特性，需要大量的矩阵计算，采用基于图形处理单元(GPU)和中央处理器(CPU)设计实现了多核异构平台，对脉冲神经网络模型参数进行优化，设计了5个核函数，分别对神经元输入脉冲序列、神经元参数、突触后电势力，更新神经元状态和更新权重进行优化，实现脉冲网络进行异构加速。算法在 UCI 数据集上进行相关的测试，结构展示当脉冲网络规模更大时，对神经网络计算效率的提升更加明显。
1.针对复杂时空域时间序列信号，提出了多脉冲协同点火机制的概率调制脉冲神经网络模型:复杂的时空域时间序列信号分别具有时间维度和空间维度，在传统脉冲网络算法中，神经元往往使用单脉冲点火机制，对时空域信号的表达能力有限；另外，由于脉冲神经元的膜电势的离散特性，很难直接使用标准梯度下降进行优化。本文提出了基于概率调制的脉冲神经网络模型，引入贝叶斯机制，计算点火序列在每一时刻的点火概率，将离散的神经元膜电位计算机制进行连续化处理，故有效的减少了网络的迭代次数。通过连续的点火概率密度，实现多脉冲协同点火机制，对复杂时空域信息进行表征。在处理复杂时空信息数据时，概率调制脉冲网络结合了高波滤波， Max Competition层，异步运动信号检测子组成时空域信息学习框架，相较于传统及其学习算法，该框架具有更好的学习效果。此外，脉冲神经元的点火通常是异步的，使得脉冲网络兼具了容易硬件实现的优点。通过与传统的时空域学习模型进行对比，实验结果表明基于概率调制脉冲神经网络取得了更少的学习参数和更高的学习效率。
2.针对长程的时间序列信号，提出一种基于“监控子”递归脉冲神经网络预测模型: 对于长程的复杂时间序列预测问题，本论文将脉冲神经网络作为一个动力学系统，引入递归机制的脉冲储蓄池(reservoir)结构，并在每个脉冲神经元中嵌入“监控子”机制，在线追踪训练的动力学系统中状态空间主成分，使网络能够对长程的复杂时间序列信号进行恢复和预测。通过与传统的时间预测模型进行对比，对于目标模式预测，实验结果表明“监控子”递归脉冲神经网络不仅实现高度的拟合，并且具有高的脉冲效率及记忆存储能力。
3.针对于时间序列特征表达能力，提出了一种基于集成脉冲自编码器学习模型：对于单元(Univariate)时间序列，多元时间序列(Multivariate)和多通道(Multi-channel)时间序列问题，本论文将脉冲神经网络泛化到深度自编码器模型中。针对人工特征时域特征表达能力差的问题，新网络模型对时间域中特征进行自动提取，本文提出了多阶，双向连接的储蓄池结构。根据网络收缩性的理论证明，表明相较于传统的脉冲网络模型，新模型的结构具有更强的收缩性能。对于处理复杂的多通道时间序列，将多个脉冲网络集成起来，最后经过卷积网络作为输出端。通过与传统的时间序列学习模型进行对比，与流行的深度模型进行了比较，结果展示了集成脉冲自编码器网络针对时间序列的分类问题取得了更好的表现。
4.针对时间序列信号的不确定性预计问题，提出了一种基于“MBPEP”的深度集成网络检测模型: 传统的人工智能模型通常只适用于训练数据和测试数据分布相同的情况，因此设计一个高质量的机器学习解决方案去处理训练和测试数据分布不一致情况是困难的。本文将传统的深度学习模型作为基分类器，通过设计引入深度集成模型“MBPEP”，通过由非线性激励元所组成的上下界预计范围宽度变量(MPIW)以及收敛概率预计置信度(PICP)构造损失误差函数，来解决基于时间序列的不确定性预计问题。通过基于时间序列的不确定性分类和回归实验，通过与传统的不确定性预测模型进行对比，结果展示了MBPEP深度集成网络模型提升了不确定性预计的效果。
5.针对学习模型的泛化能力，提出了一种基于边缘尺度的帕累托集成切割模型：为了增强模型的泛化能力，寻找提升模型表现的方法，我们对单个分类模型的决策边界进行研究。基于传统的机器学习模型，提出了边缘尺度的帕累托集成切割模型，通过帕累托优化进化算法以及边缘切割尺度寻找，在过生产阶段应用帕累托优化算法(PO)[计算集成池中的优化尺寸；在切割阶段，为了集成切割模型能够在不精确域(indecision region)中能够检测到不同类别，新模型利用边界切割尺寸机制(MCP)计算基分类器的局部信息，进一步优化集成尺寸的大小。根据MCP规则，不精确域中包含更多的信息量的分类器将被切割。通过在时间序列数据集上的验证，与传统的集成切割模型进行了比较，结果展示了基于边缘尺度的帕累托集成切割模型能提升模型泛化能力。
6. 实现了对脉冲网络算法进行加速的优化: 面对海量高维度的训练数据处理时，基于时空域信息的脉冲神经网络的训练速度是亟待解决的问题。由于脉冲神经元并行产生点火时间序列的特性，需要大量的矩阵计算，采用基于图形处理单元(GPU)和中央处理器(CPU)设计实现了多核异构平台，对脉冲神经网络模型参数进行优化，设计了5个核函数，分别对神经元输入脉冲序列、神经元参数、突触后电势力，更新神经元状态和更新权重进行优化，实现脉冲网络进行异构加速。算法在 UCI 数据集上进行相关的测试，结构展示当脉冲网络规模更大时，对神经网络计算效率的提升更加明显。