随着模式识别与人工智能技术的发展,深度学习成为近年来备受关注的一种技术范例,在推荐系统、音频、图像乃至视频等多维度的许多实际情景中得到了广泛的应用,同时也将传统模式识别与人工智能领域的诸多问题,如对抗学习和自监督学习引入到了深度学习的领域。然而,大部分成功实践背后的工作机制仍然是一个谜,而大部分真实部署的深度学习模型对工程师和研究者而言仍然是黑盒,从而引起了学界对机器学习理论基础进行研究的热情。为了从基础层面上获得有关非线性深度网络泛化能力的见解,本文对对抗学习和自监督学习过程中所应用的技巧策略进行了研究:首先针对对抗学习泛化性能不佳的问题,本文参考了目前的权范数归一化约束,提出了针对无穷范数攻击的行和范数归一化,并利用PAC-贝叶斯框架给出了与行和范数有关的泛化性界。随后在MNIST数据集上初步验证了此归一化策略的有效性。接着,为更细致地考察深度神经网络的学习过程,借助双层二次网络体系架构,本文研究了梯度下降法在连续时间极限下的动力学过程,发现实际训练模型的近似动力学方程会产生意外的非最优稳定点,它们的存在导致二次网络的损失面中存在鞍点。由此网络初始化不正确,这些鞍点会导致学习过程失败。其次,针对目前大规模神经网络预训练中所广泛应用的自监督学习技术,本文从多视图角度对其前置任务的泛化性能进行了审视,提出了一个特别设计的框架。该框架分离了一类自监督学习过程中涉及的两步。在多个数据集上框架的实验结果表明:自监督学习的有效性主要得益于其数据增广过程,而不合适的前置任务标记会损害其性能。多视图学习的观点使我们发现:多样性的数据增广可以进一步提升自监督学习的性能。