脑机接口（brain computer interface,BCI）允许用户通过脑信号与外界设备进行通信和交互,为瘫痪或有其他严重运动缺陷的人提供了一种新的增强通信技术。其中,基于P300的字符拼写系统是研究最广泛的BCI应用之一。为了提高这类BCI系统的性能,深度学习技术已经广泛应用于P300检测并取得了显著的成效。然而传统的深度网络的权值是点估计形式,这些网络无法对预测结果中的不确定性进行度量,也就无法得知预测结果是否可靠。近年研究表明,贝叶斯神经网络（Bayesian neural network,BNN）通过在模型参数上设置概率分布来捕获模型的不确定性,因此能提供有效的预测不确定性估计。并且BNN为模型引入了参数的先验信息,因而对过拟合具有鲁棒性。鉴于这些优势,本文研究如何利用BNN来解决深度学习应用在P300脑机接口中的不确定性估计问题,并探讨其在提高P300检测性能、BCI对抗攻击防御、深度网络结构优化、拒绝分类策略和脑电小训练集问题等方向的应用,研究内容主要分为以下三个方面:（1）提出一种基于贝叶斯卷积神经网络的P300检测方法。该方法将卷积神经网络的每个权值用概率分布表示。在预测阶段,通过蒙特卡洛采样一定数量的子网络,并集成各个子网络的预测,不仅使得预测结果更可靠,提高P300检测性能,而且可以获得预测的不确定性。同时,利用权值不确定性进一步研究深度网络的剪枝优化;并利用预测不确定性进一步研究深度网络的对抗攻击防御,以提高字符拼写系统的安全性。（2）传统的胶囊网络无法度量预测的不确定性,且其参数量较大,在脑电数据上容易过拟合。针对这一问题,本文提出一种贝叶斯胶囊网络用于P300检测。通过在模型参数上设置先验分布实现对权值的正则化,从而降低胶囊网络在小样本脑电训练下过拟合的风险。同时,通过对抗攻击实验研究该网络的鲁棒性,并设计了拒绝分类策略,通过拒绝预测不确定性高的样本来降低模型的分类错误率,提高BCI系统可靠性。另外,通过减少训练样本验证了该网络在小样本脑电下的深度学习性能。（3）网络模型的深度对P300特征提取和学习的效果起着关键作用,如何确定网络的最优深度一直以来是P300深度学习中棘手的问题。针对这一问题,本文提出一种时域卷积深度不确定网络,对P300信号需要的时域卷积深度进行概率推理。通过训练,在每个时域卷积层上得到一个后验概率,利用这些概率可以确定每个时域卷积层对P300检测的重要程度,从而优化网络深度,提高字符拼写系统的效率。实验表明,该网络不仅可以实现优异的P300检测性能,而且其训练得到的后验概率对BCI深度学习中的网络层数设计具有一定的指导价值。