随着云计算和大数据技术的发展,网络中的数据呈现爆炸式的增长,这对底层基础设施数据中心网络提出了更高的要求。数据中心网络流量具有以下特征:少数的具有较高速率和较大数据量的数据流消耗了大部分的网络带宽,流量的突发性强。特别是针对胖树结构的数据中心网络,不同边缘交换机下的服务器进行通信存在着多条并行传输路径,每条传输路径由多条链路组成,但是网络中却存在着有的链路利用率不高、有的链路频繁出现拥塞的流量分布不均衡的现象。如何根据数据中心网络流量的特征,在多条传输路径间进行流量的有效调度,实现高吞吐量和低时延的网络传输,是数据中心网络性能优化的一个关键点。本文主要解决数据中心网络中基于流量感知的网络性能优化问题,从基于强化学习的自适应路径选择优化机制、Top K大象流检测与流量感知算法,以及SDN场景下负载均衡实现方案等三个方面开展研究。论文的主要研究工作如下:(1)为了解决数据中心网络中流量分布不均、并行传输路径未能充分利用的问题,提出一种基于深度强化学习DQN(Deep-Q Network)模型的自适应路径选择优化机制。通过对网络中流量信息、实时链路状态的感知,利用深度强化学习的延迟反馈和自适应调整能力,为网络选择最优调度数据流,并利用经验回放机制和目标神经网络减小数据之间的相关性,使模型可以快速地收敛,最终实现网络的自适应优化。实验结果表明,该机制能够快速适应网络环境的变化,并合理有效地分配网络资源。(2)为了提高基于DQN的自适应路径选择优化机制调度的效率,将具有较高传输速率和较大数据量的数据流定义为大象流,提出了改进的双门限Top K大象流检测算法。该算法利用D-left Hash维护大象流信息,并在Hash单元中加入有效计数Count字段,增强Hash单元流量置换的公平性,从而使大数据量的数据流能够以更大的概率抢占Hash单元。实验结果表明,通过降低Hash冲突,该算法可以较为准确地完成大象流检测,从而为路径选择优化机制提供更加精准的待调度数据流。(3)在开源SDN控制器Floodlight上设计实现了自适应负载均衡机制,并结合Mininet网络仿真器等工具,对所提机制算法进行了实验验证。结果表明,基于DQN的自适应路径选择优化机制与双门限Top K大象流检测算法相结合,可以有效提高数据中心网络的平均链路利用率,优化后的网络在端到端吞吐量和时延方面显著优于等价多路径算法ECMP和混合路由机制SHR算法。