新型的雾计算架构通过在无线网络边缘的移动基站部署雾计算服务器来提供云服务,大大减小网络负载和传输时延。物联网(Internet of Things,IoT)设备可将生成的大量数据卸载到雾计算服务器,进行存储和计算密集型处理。窄带物联网(Narrowband Internet of Things,NB-IoT)是一种用于将物联网数据传输到基站(Base Stations,BSs)的新型蜂窝技术。由于物联网设备和NB-IoT网络在通信和计算资源上的限制,需要有效地调度以满足系统性能的要求。本文提出一种用于物联网雾计算系统的联合计算卸载和多用户调度算法,以最小化随机业务到达下时延和功耗的长期平均加权和。将动态优化问题建立为无限期平均回报连续时间马尔可夫决策过程(Infinite Horizon Average Reward Continuous-time Markov Decision Process)模型。解决多用户资源管理的马尔科夫决策过程(Markov Decision Process,MDP)问题的一个关键挑战是维数灾难问题,其中MDP模型的状态空间和计算复杂度随着用户或物联网设备数量的增加呈指数增长。为了处理维数灾难问题,本文提出了两种算法,第一种算法使用近似动态规划(Approximate Dynamic Programming,ADP)算法,即线性值函数近似(Linear Value-Function Approximation)和具有后决策状态的时间差(Temporal-Difference,TD)学习算法和半梯度下降法(Semi-GradientDescent,SGD),推导出一个简单的算法来解决连续时间马尔科夫决策过程(Continuous-time Markov Decision Process,CTMDP)模型。第二种算法提出卷积神经网络架构(Convolutional Neural Network,CNN)来近似后决策系统状态的值函数。设计的两种解决CTMDP问题的算法是半分布式的,即物联网设备向BSs提交出价以集中进行资源控制决策。仿真结果表明,这两种算法在基线算法和基于确定性任务模型设计的多用户多业务卸载算法上具有显着的性能提升。而基于卷积神经网络的值函数近似架构的深度学习强化算法性能要优于近似动态规划算法。