基于深度强化学习的A股量化投资策略

来源 :上海财经大学 | 被引量 : 0次 | 上传用户:kateyg2919
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
通过定量而不是定性的方法,构建各种各样的数学模型,从各式金融数据来源中探寻出金融市场的统一规律,赋予统一的范式是量化投资方法中“量化”的本质。量化投资技术具有极高的公式化、范式化以及重视数据的特点。从特点上看,人工智能技术在量化投资领域具有很好的应用价值:量化投资是人工智能技术的良好应用场景。人工智能算法的应用,使投资者具备智能,可以随时根据金融金融市场的变化进行学习,并且比人类投资者更为冷静理性。人工智能中有两大量化投资技术的适用领域:代表着监督学习的机器学习和代表着非监督学习的强化学习方法。本文采取的是基于强化学习的方法,构建量化投资策略。主要原因是在机器学习中对数据集提出了更高的要求:数据之间必须是独立同分布的。但是金融市场的数据具有特殊性,很多时候存在时序上的相关性(比如说市场风格切换等),这时候无法满足机器学习应用的前提,在模型的训练和准确度等方面将会导致许多问题。但是强化学习并不需要这样的前提假设,这是强化学习算法更适用于量化投资领域的其一;其二,从模型的可解释性的角度来看,在机器学习算法中,输入输出之间的关系往往呈现出“黑盒”的现象,我们无法解释收益性的来源,这让我们构建出的量化投资策略失去了可信度。在强化学习中,其模型训练逻辑和金融市场中进行买卖操作的逻辑是一致的:在某一个市场状态下采取一定的买卖操作,得到收益奖励,根据得到奖励的反馈来反思复盘策略的正确与否,这让算法逻辑更易解释。DDPG模型是深度强化学习模型中较为成熟的一类算法,同时,其状态空间以及动作空间能对连续性变量进行处理这一特性使得它能很好地适应金融多变的市场情况,成为一个良好的载体。基于该模型,我们构建了基于上证50和中证800的样本池的A股量化投资策略。这是将人工智能融入多因子选股体系,将多因子选股模型中的因子生成、多因子合成、组合优化风险控制三大步骤进行一步整合的一次尝试;并且,区别于市场上普遍的只是针对单只股票进行择时操作的投资策略,本文构建的策略是在多只股票上进行的,更加符合现实的操作情况;在理论知识上,将量化投资理论中传统的技术指标因子有机地融合到深度强化学习模型中,技术指标处理相当于特征处理的过程,为模型提供了更多信息加强模型对市场形态的把控。本文分别基于上证50、中证800样本池对DDPG模型进行训练和回测。从回测结果来看回测,在上证50样本池中,智能体的操作并不频繁,操作可持续性不强,整个回测期间,对27只股票,进行了78次操作。从回测净值曲线来看,智能体表现波动比较大,收益率水平受市场影响比较大。相对上证50年化超额收益率为10.22%,超额显著,但是收益波动比和夏普比率较低,超额净值的年化波动率达到18.02%,策略波动还是比较大,存在改进的空间。在中证800样本池中,回测的效果更好,超额收益率更为显著和稳健,同时智能体操作的可持续性较强。从操作来看,智能体在中证800样本池中回测期间对73只股票进行了136次操作。回测策略相对中证800年化超额收益率为24.59%,超额收益显著。同时,从夏普比率和收益波动比来看,相比在上证50样本中测试的结果更好。但是本文的研究仅仅只是将深度强化学习领域应用于A股市场的一次初步的尝试,未来还有许多发展空间。金融市场具有不稳定性,市场状态和趋势是在实时变化的,再加上A股市场具有特殊性,尚未完全成熟,虽然我们已经将技术指标融合到深度强化学习的感知之中,但是对于智能体来说,它对市场的感知还是远远不够的,对强化学习模型的适应性提出了更高的要求;同时,本文构建的投资策略距离落地实践还有很远的距离。一个成熟的量化投资交易自动化系统中,需要包括风险层、策略轮动层、自适应层等多层次的模块配置。并且,本文的策略只是单一地对股票资产进行配置,在真正进行投资时,我们要在多类资产间进行配置,以此控制风险。
其他文献
<正>当前新型冠状病毒肺炎(简称"新冠肺炎")流行,基础营养状况较差的老年人和慢性疾病患者感染后病情趋于危重,凸显营养治疗更加重要。为了进一步促进患者康复、提高治疗效果、降低死亡率,中华医学会肠外肠内营养学分会(Chinese Society for Parenteral and Enteral Nutrition,CSPEN)提出了以下10条关于新冠肺炎患者的医学营养治疗专家建议。1.原则:营养
期刊
高技术产业对于强化我国国际地位和促进我国经济高质量发展有着至关重要的作用。21世纪初期,我国高技术产品出口呈现良好态势,业已形成竞争优势。然而近年贸易环境恶化,高技术产品贸易发展受阻。区域性贸易协定通过制度设计影响着协定成员国和非成员国的产品贸易。2018年12月,《全面与进步跨太平洋伙伴关系协定》(CPTPP)正式生效,CPTPP作为全球高标准的区域贸易协定,其对我国高技术产品贸易的影响如何,值
学位
资源稀缺指的是个体认为拥有的资源无法满足自身需求的一种状态,即个体的欲望无法得到满足,稀缺可以是客观存在的,也可以是一种主观感知;资源稀缺作为一种社会普遍存在的现象,近些年来受到国内外很多学者的关注。前人们围绕着稀缺对个体在认知、情绪和行为等方面带来的影响展开了研究,近年来逐渐深入到营销情景中,随着互联网经济的快速发展,消费者对于个性化定制产品的需求越来越强烈,为消费者提供定制化产品和服务已经成为
学位
<正>新形势下,社会经济的发展有了较大突破,公路工程建设的重要性更加突出,所以受到社会各界的广泛关注。公路工程作为当地基础设施,其建设效果一定程度上代表着当地的经济发展水平。但目前我国公路工程管理依旧存在较多问题,如安全管理问题、成本管理问题、质量管理问题等,从而导致我国公路工程管理质量较差,不利于该领域的健康发展。本文首先阐述了公路工程管理模式创新的重要性,其次分析了公路工程管理模式普遍存在的问
期刊
近年来,跨境电子商务逐渐成为中国对外贸易发展的新业态。跨境电商行业在中国历经二十余年发展,目前已进入商业模式成熟的稳定增长期。新冠肺炎疫情背景下,全球电商渗透率增长明显,借助国内优质韧性的供应链,中国跨境电商市场有望继续增长,研究影响中国跨境电商发展的因素具有重要的应用价值。我国跨境电商发展的影响因素有哪些,这些因素对于跨境电商贸易额的增长究竟是促进作用,亦或是抑制作用?我国究竟是立足于基础设施完
学位
为了揭示过量空气系数φa对天然气发动机燃烧不稳定性的影响规律,在低负荷工况下,针对不同φa进行试验,利用整个循环缸内压力时间序列的相空间重构和循环变动系数(CCV)、指示平均有效压力(IMEP)和燃烧中点(CA 50)的返回映射、燃烧始点(CA 5)和燃烧终点(CA 90)的分布等对天然气发动机的燃烧不稳定性进行了定性和定量分析.结果表明:天然气发动机的燃烧过程呈现一定的混沌特性,随着φa的增加,
期刊
目的:探讨糖尿病(diabetes mellitus, DM)对维持性血液透析(maintenance hemodialysis, MHD)患者全因死亡风险的预测作用。方法:选取2018年01月—2019年12月在上海市浦东新区浦南医院维持性血液透析的患者115例。检测一般生化指标及是否合并糖尿病,随访至2020年12月,记录全因死亡事件发生。应用多元logistics回归模型评估糖尿病对于MHD
期刊
近年来,我国资本市场逐步发展成熟,总体规模位居世界前列。同时,市场正在向更开放的方向发展,不断地吸引着境外投资者参与其中。发展的要求和开放的趋势对中国资本市场带来了极大的挑战,对市场的稳定性提出了更高的要求。公司信息披露真实性的确保对维持市场稳定、健康运行具有十分重要的作用。为了保护投资者的利益,提高资本市场的信誉,国家在政策规范和技术手段上不断加强对于企业的监管力度和监管水平。然而,受到自身利益
学位
随着4G、5G网络的快速普及和智能手机的广泛使用,短视频已经成为人们日常生活中不可或缺的娱乐方式之一。据2020年研究报告显示,截至2020年,我国短视频用户规模达到8.18亿,占全体网民的87%、我国人口的58%。随着其用户规模的不断扩大,短视频的影响力和商业价值也在迅速增加。所以短视频广告逐渐受到更多商家的青睐,其市场规模在2020年已经达到1200亿元。短视频的播放量直接决定了商品的曝光人数
学位
抽动障碍(TD)是以运动性抽动和发声性抽动为特点的神经精神类疾病,由法国医生Tourette在1885年首次发现并描述的,而在我国早在1963年就首例报道了此病。近年来,TD患病率的逐年升高,严重危害了患儿的身心健康,所以寻找实验室指标辅助TD的诊断、病情评估变得至关重要。关于TD和注意缺陷多动障碍(ADHD)的病因大部分国内外学者都认为与神经递质异常密不可分,其中多倾向于与多巴胺系统功能异常相关
学位