论文部分内容阅读
当前,我们可以从物联网(Internet of Things,IoT)传感器中获取海量数据,然后利用这些数据来训练深度神经网络,通过深度神经网络研究实际问题,帮助IoT设备作出决策,使IoT设备更加智能,拥有更广阔的应用前景。然而,一方面IoT设备的计算和存储资源有限,很多神经网络模型不能直接用于IoT设备中;另一方面云计算的方法又会给用户带来高带宽成本和高延迟,所以,单纯的基于云计算的深度学习和基于IoT设备的深度学习不能很好地适用于IoT环境。针对上述问题,本文对“云-边-端”协同计算的分布式深度神经网络(Distributed Deep Neural Network,DDNN)进行了相关研究,以改进现有解决方案。首先,针对IoT设备数据的特点,本文提出了一种多视角特征加权融合的方法,该方法考虑了多视角重要性的差异,相比传统的特征融合方法减少了边缘侧向云侧的数据传输量,能进一步提高DDNN的精度。其次,针对DDNN的重要组成部分——卷积层和全连接层参数过多的问题,本文设计了一种出口可滑动的轻量级DDNN推理模型,一方面通过将出口位置往DDNN的低层移动,减少边缘侧卷积层的计算量,另一方面通过可训练的卷积特征袋模型压缩特征图,减少边缘侧全连接层的计算量。该模型在边缘侧计算资源有限的情况下可以提高DDNN整体精度。最后,在“教师-学生”网络的训练方法基础上,本文提出一种新的DDNN训练策略。基于DDNN多出口的特点,设计了一种方法对样本复杂级别进行区分,提出样例自适应加权的方法联合训练边缘侧和云侧模型,取得了较好的训练效果。