深度学习和直接强化学习是人工智能中机器学习算法的两大分支,在工业界有着广泛的应用。而在金融领域,量化风控与智能投顾也日益兴盛,这背后离不开数学理论和计算机算法的支撑。然而,如何设计出能够有效迁移到金融交易与资产配置的网络结构和量化指标,是关乎人工智能能否在金融领域持续推进的关键因素。由非线性期望理论衍生的G-VaR,作为一类最坏情况下的风险度量指标,由于其假设资产收益服从G-正态分布,使其不仅满足真实金融市场中投资收益的均值与方差的不确定性,而且能更好地反映稳健型投资者的交易倾向。并且非线性期望中的典型应用,用来估计现实样本数据的上下均值与上下方差的φ-max-mean算法,其核心想法也同样可以迁移到神经网络的架构设计中,用来指导端到端交易决策系统的信号生成。本文从深度学习和直接强化学习两方面,对智能交易系统进行网络结构的改进及优化目标的创新。一方面,在基于深度学习的端到端混合模型（改进的CNN-DNN和改进的CNN-RNN混合模型）的设计中,通过对传统卷积神经网络中卷积核运算的重新定义,模型对原始量价信息有了更深入地挖掘与提炼。从实证结果来看,改进后的CNN无论从预测能力,还是预测稳定性上都有了一定提高。此外,在机器学习中经典的均方误差损失函数MSE的基础上,对金融资产收益的预测偏差进行加权,以及对预测顺序的错误输出进行惩罚,分别得到两个改进版的模型优化目标（long-aware MSE和rank-aware MSE）,二者在模型训练中的表现均不亚于传统的均方误差函数。另一方面,在直接强化学习系统中,本文借鉴了自然语言处理中的编码思想,分别设计了改进的CNN-RNN和改进的CNN-Transformer交易信号生成系统,用来学习同一时间截面下多资产的收益关系,进而得到投资组合的配置权重。同时,以φ-max-mean算法的核心想法为基础,提出了 CNN算法,一种估计G-正态分布中参数的新方法。从计算机模拟生成的测试样本来看,CNN算法的参数估计误差要小于φ-max-mean算法。随后,又在CNN算法的基础上,将非线性期望下的风险度量指标G-VaR作为性能函数的惩罚项,整合到直接强化学习系统的网络结构中。从中证500指数增强策略的回测结果看,相较于基准中证500指数,以及以总收益和夏普比率作为性能函数的交易系统,引入G-VaR的直接强化学习系统有着更加稳健的交易风格。这说明以非线性期望理论框架为基础的风险度量指标,无论是在投资决策,还是风险控制领域,与人工智能算法结合后都有着极为重要的意义和更为广阔的发展空间。