随着我国经济不断发展,根据中国统计局2019年发布的信息,我国GDP同比6%左右增长,全年全国居民人均可支配收入同比增长8.9%。我国居民收入不断提升,有了更多的闲置资金,产生了更多的投资需求,有投资意愿的人约占总人口的65%,这对提高投资组合管理效率提出了更高的要求。投资组合管理最基本的思想是要平衡风险和收益,该思想是由马科维茨在均值-方差模型中提出的,通常可以用夏普比率来衡量一个投资组合的好坏。在文献中,有许多相关研究,有基于均值-方差模型进行优化的传统算法,也有基于传统机器学习的算法。但由于金融市场的复杂性,这些并不能完全捕捉市场信息。随着大数据的兴起和计算机技术的发展,深度学习可以学到传统模型难以捕捉的深度信息和特征,往往会有更好的预测效果;同时强化学习算法因具备决策优化能力,更加符合投资组合管理决策的逻辑,因此可直接应用于投资组合管理上。综上所述,本文考虑使用深度强化学习算法解决投资组合管理问题。在现有文献中,投资组合管理的深度强化学习算法有两个问题,一是提取特征时对于投资组合中金融产品间的相关性把握不全面,忽视了金融产品间的关联性;另一个是在进行资产组合调整时,很难考虑到当前已经持有的资产组合,这样会忽视资产组合调整时带来的成本与收益问题。针对这些问题,本文提出运用图神经网络进行特征的提取,通过相似度矩阵以及谱聚类方法来获取市场的图结构信息,以此让模型可以考虑到金融产品间的关联性息,同时利用当前持有的资产组合比例向量对于获取市场的图结构信息进行加权修正,让模型能够关注到已经持有的投资组合情况,做出更加合理的决策。本文采用股票市场的真实数据对算法进行了实证研究,采用了万得数据库中提供的沪深300的股票数据,包含300支股票从2014年6月到2020年7月的日度数据。本文选取了股票开盘价,收盘价,涨跌幅,交易量,市盈率,市净率六个和收益率或波动率相关的特征,并且选取之前一周,五个交易日内的特征来获得短期历史信息,并对每个特征选择近一个月内的数据计算其指数加权平均数来获取更长期的历史信息,以此建立共计6*5=30个特征。本文通过谱聚类和分层抽样实现了市场的模拟,选取了199支股票进行建模,同时引入了现金当作一种资产选择。在此基础上构建了基于归一化优势函数算法（NAF算法）的强化学习算法,策略为调整资产组合的持有比例向量。在设计强化学习框架时,本文设计奖励函数时把收益当作奖励函数,同时奖励的折现率设置为无风险利率以贴合现实逻辑。设计策略时,考虑了现实市场情况,股票买入隔天才能卖出,所以设为日度交易,并且计算成本时完全按照中国市场情况,分买入和卖出分别计算。同时考虑到消费者心理,设立止损机制,亏损到一定程度后会结束交易,这样综合考虑了短期和长期收益的平衡及消费者的心理承受能力。在此基础上,本文在测试集上进行了验证。首先验证了本文所使用的图神经网络、以及把持有投资组合向量作为权重的方法的有效性,可以发现图神经网络可以有效提取市场信息,持有投资组合向量可以让模型能够关注到已经持有的投资组合情况并作出更好的决策,本文提出的算法相较于之前的的使用卷积神经网络,循环神经网络的算法在不同的市场情况下（包含牛市,熊市和波动较大的市场）都取得了更好的投资回报。同时本文算法学习到的策略在不同市场情况下均取得了稳定的收益率,并且显著超过了市场大盘水平,在不同的市场情况下,收益率均超过沪深300指数10%以上;在各种市场表现下,相较于其他以股票为标的物的基金:股票基金、被动指数基金、和增强指数基金,都取得了显著超过其平均水平的表现,有着稳定出色的表现,不随市场的波动而发生起伏。其收益率稳定超过指数类基金15%以上,波动率相较于股票基金下降了20%以上。本文算法学习到的策略的表现不同于股票基金和指数基金,没有股票基金那么高的波动率,同时相较于指数基金有更高的收益率,并且稳定取得了较高的夏普比率,整体投资风格趋向于成长型基金,比较适合希望希望获得长期稳定收益的投资者。本文研究得到的策略具有一定现实意义,并且相较于市场上已有的基金也有一定的优势,比较适用于那些不满足于指数基金的低收益,同时也担心股票基金风险太高的投资者们。并且使用图神经网络来提取市场信息的思路,也在实证中得到了验证。对其他金融相关业务有一定的指导意义。