能量收集技术（Energy Havesting,EH）使无线传感网络（Wireless Sensor Networks,WSNs）能够自我可持续化发展,以保持其长期关键性能指标,如数据吞吐量和传感覆盖能力等。以往的研究都是假设系统信息（例如,传感器位置、通道参数和未来能量到达的数量）是可访问的,在此基础上,轨迹设计可以被公式化为常规优化问题。然而,在实际场景中,由于环境的高度动态性和复杂性,导致系统信息很难获取,甚至无法明确预测,这一问题给基于能量收集的无线传感器网络的发展提出了新的挑战。针对上述问题,本文设计了一种用于移动传感器能量采集和数据传输的智能轨迹设计方法,促进了基于能量收集的无线传感网络长期收集数据方法的发展。具体来说,本文将无线传感网络视为一个二维矩形区域,移动传感器（Mobile Sensor,MS）可以从周围环境中收集能量,同时将收集到的数据发送到固定接收器。由于环境能源的随机性和不可预测性,移动传感器在每个时隙收集到的能量在无线传感器网络中呈现出时空动态性,移动传感器无法接收到稳定的能源,严重影响了移动传感器到数据接（sink）的数据吞吐量性能。为了最大限度地提高移动传感器到数据接收器（MS-to-sink）的长期平均数据吞吐量,仔细设计移动传感器的移动轨迹尤为重要。由于能量到达信息以及能源的位置信息未知,本文将问题转化为马尔科夫决策过程,使用无模型的强化学习算法进行求解,特别地,采用深度确定性策略梯度算法来处理连续确定性的运动空间问题。采用深度神经网络算法来处理非连续决策性问题。主要工作如下:（1）本文的第一部分提出了基于深度确定性策略梯度算法的移动能量采集和数据传输的智能轨迹优化,这也是第一次尝试将深度确定性策略梯度算法和无线传感网结合来优化能量收集、节点移动和数据传输问题。本文设计了一种连续移动模型,该模型能够适应具有动量的真实物理环境,其中移动传感器在该环境中进行能量采集并将收集到的能量用于数据的传输,移动的过程中传感器的移动速度和旋转角度可以在一定范围内任意取值。在每个时隙中,为了使传感器更好的移动,开发了时间相关的探索策略以适应具有惯性的移动传感器物理控制过程,从而提高探索效率。提出的基于深度确定性策略梯度的训练算法使移动传感器能够通过仅跟踪每个时隙中聚合接收能量的量来识别最佳移动轨迹,从而实现最大化的长期平均移动传感器到接收器数据吞吐量。所提出的训练模型开启了在几乎没有外部信息的情况下全面理解EH-WSNs中物理控制问题的第一步。仿真结果证明了所提出的训练算法的有效性,无论移动传感器的初始位置和接收器的位置如何。单位距离的高移动成本可能会阻碍移动传感器识别最佳移动轨迹,这会导致次优解。（2）本文的第二部分提出了基于深度神经网络算法的移动能量采集和数据传输的智能轨迹优化。首先将移动传感器的动作离散化,使得移动传感器可以在上、下、左、右、左上、左下、右上、右下八个方向上进行移动,或保持在原位置。在每一个时隙,移动传感器可以识别并移动到最优位置,这些位置连接起来形成一条轨迹。这一运动轨迹问题则变为非连续性决策问题,本文使用深度神经网络算法去解决。提出的基于深度神经网络算法在不知道外部信息的情况下,通过仅根据智能追踪聚合接收的能量的强弱来学习和优化轨迹。本节将考虑移动传感器不同初始位置和移动成本对轨迹的影响。同时在同等条件下做了对比实验,研究两种算法下移动传感器到数据接收器的数据吞吐量以及是否都能找到最佳收集位置。实验结果表明,在有限的步数里,两种算法训练的模型都能收敛,但深度确定性策略梯度算法收敛速度要比深度神经网络算法更快,且效果更加稳定,由此,本文得出结论是移动传感器更适合在连续动作空间下移动,这也更符合实际情况,选择深度确定性算法来解决本文提出的轨迹优化问题也更加合理。