论文部分内容阅读
摘要: 现有单人跳跃荷载模型通常基于周期性或平稳性假定,从实验数据中人工提取脉冲特征、动载因子和接触率等特征参数来建立,特征参数的选择主观性强。深度学习理论能够自动分析和提取样本特征,进而生成全新的样本。这其中,生成式对抗网络(GANs)的出现极大地提高了生成样本的质量。因此,通过综合条件GANs和带有梯度惩罚的WassersteinGANs,提出了模拟单人跳跃荷载的GANs模型。该模型的生成器具有5个全连接层和1个一维卷积层,判别器则具有5个全连接层,并拥有大量频率丰富的实测单人跳跃荷载样本。经过一百万次训练后,生成器可以生成与真实样本非常相似的高质量样本。通过比较生成样本与真实样本的平均功率谱密度和单自由度响应,验证了所提出的GANs模型可用于生成单人跳跃荷载。
关键词: 跳跃荷载; 振动舒适度; 生成式对抗网络; 深度学习
中图分类号: TU312+.1 文献标志码: A 文章编号: 10044523(2019)05085607
DOI:10.16385/j.cnki.issn.10044523.2019.05.014
引 言
人群活动引起的结构振动舒适度问题,对于大跨度楼板、人行天桥和体育看台等结构的设计变得越来越重要,若考虑不充分则可能带来严重的经济损失和恶劣的社会影响[12]。在步行、跳跃、跑动和Bounce等常见的人致荷载类型中,一般认为跳跃产生的动力荷载最大 [34]。现有的跳跃荷载模型,无论是确定性的傅里叶级数模型[5]还是随机模型[6],都是基于先验的周期性或平稳性假定,从实验数据中提取特征参数及其分布特性后而建立的。
与人工确定并提取数据对象分布特征的传统建模方法相比,近年来飞速发展的深度学习理论通过多级抽象的方式来自动提取数据的特征[7]。实践证明,此类方法在分析高维数据的复杂结构方面非常出色,并已成功应用于许多领域。例如,在图像识别方面,深度卷积网络取得了比人类辨识更好的结果[8];由深度学习方法所生成的图像已经达到以假乱真的地步[9];在语音识别和自然语言处理中,循环神经网络也取得了重要的成果[10]。在众多深度学习算法中,2014年Goodfellow等提出的生成式对抗网络[9]是一类无监督的机器学习算法,由两个神经网络通过博弈方式相互竞争,它们可以隐式地从真实样本中学习数据分布特性,并利用分布生成新样本,非常适合于具有复杂数据结构的动力荷载的生成问题。因此,本文研究利用生成式对抗网络学习单人跳跃荷载的数据分布,并模拟生成高质量的单人跳跃荷载样本。
1 生成式对抗网络
1.1 生成式对抗网络的基本原理 典型的生成式对抗网络 (generative adversarial networks, GANs) 由生成器和判别器组成,如图1所示。生成器通过学习来构建从随机噪声到特定分布数据的映射函数,它以随机噪声作为输入,其输出目标是尽可能模仿训练集中的真实样本。判别器的输入则是真实样本或来自生成器的生成样本,其目的是尽可能地分辨出真实样本和生成样本,而生成器必须尽可能地欺骗判别器。两个神经网络互相竞争并通过训练不断地调整各自的参数,最终目标是真实样本和生成样本的数据分布一致,而且判别器无法区分真实样本和生成样本。
假定生成器和判别器的结构都是神经网络,生成器的输入为噪声变量z,其分布为pZ。Gz;θg表示为随机噪声到生成样本的映射函数,是具有参数θg的神经网络,由其生成的样本的分布假定为pG。判别器Dx;θd同样为具有参数θd的神经网络,其输入x为生成样本或者真实样本,其输出为单个标量,表示x是真实样本的概率。
整個训练共进行一百万步,每一步训练的样本数量为64,每次训练利用Adam算法优化判别器5次,优化生成器1次。
本文使用开源框架TensorFlow[19]进行神经网络的搭建和训练。首先使用TensorFlow完成神经网络的正向传播,即搭建图3所示生成器和判别器的各层结构,然后利用式(10)所定义的优化目标函数设计生成器和判别器中参数的优化目标。随后需调用TensorFlow的Adam优化函数,按照式(11)设置好参数取值后,利用TensorFlow自动实现目标函数对神经网络中参数的求导,进而完成整个反向传播过程。
2.4 超参数对训练结果的影响
当使用带有梯度惩罚的WGANs时,即使用式(10)为优化目标时,只要噪声和网络结构的容量足够,就可以生成高质量的样本。当其过于简单时,会导致生成样本质量差,当其过于复杂时,同样可以生成高质量的样本,但是会导致训练时间过长。
对于网络结构中的超参数,例如隐藏层的激活函数都采用ReLu,而每一层的初始权重都采用He方法是为了避免梯度消失。
对于Adam训练方法中的超参数,学习率设置得过大,会出现梯度爆炸问题,而学习率过小,会导致训练时间过长,该参数初始值一般设置得较大,每次缩小10倍,直到不再出现梯度爆炸问题。而1阶矩和2阶矩的指数衰减速率,采用文献[18]建议的默认值。
3 GANs中真实样本的来源
本研究中,GANs中的真实单人跳跃荷载样本来自两组实验,分别在同济大学和英国谢菲尔德大学完成。
同济大学实验在某步态实验室进行,如图4(a)所示。一共有67位同济大学的学生参加。每位测试者在节拍器引导下完成4组固定频率的跳跃实验,分别是1.5,2.0,2.67和3.5 Hz。跳跃过程中,用固定于刚性地面上的测力板 (AMTI OR67, USA) 记录其跳跃力时程,采样频率为100 Hz,每组记录大约30 s。谢菲尔德实验是在其结构实验室进行的,共55位测试者参加,每位测试者在节拍器引导下完成4组固定频率的跳跃实验,分别是1.5,2.0,2.4和2.8 Hz。跳跃过程中,用固定于刚性地面上的测力板 (AMTI BP400600, USA) 记录其跳跃力时程,采样频率为100 Hz,每组记录大约25 s。 对每一条原始记录,首先对测力板测得的竖向力除以测试者体重进行归一化,然后截取20 s的平稳段,接下来利用傅里叶变换求截取时程的主频,并剔除主频不在节拍器频率正负0.025 Hz范围之内的数据。最终,对于同济1.5,2.0,2.67和3.5 Hz实验,分别得到39,41,37和12条合格样本,对于谢菲尔德1.5,2.0,2.4和2.8 Hz实验,分别得到39,50,40和33条合格样本。由于中国人和外国人跳跃荷载存在差异,同时为研究GANs的生成能力,本研究中将国内和国外同频率的跳跃视为两类不同的荷载类型,即在本文中,一共有8类荷载。图5展示了一些实测样本。
4 生成样本
利用TensorFlow所建立的GANs在经过一百万次的训练后,生成器可以生成高质量的样本。条件变量可以控制生成样本的种类。图6展示了一些生成样本。
对比图5和6可见,生成样本与真实样本具有非常相似的时域特性,仅凭肉眼观察已经无法准确区分真实样本还是生成样本。
除观察方式外,进一步采用定量的方法来比较生成样本和真实样本。由于跳跃荷载具有随机性且可以假定为平稳随机过程[6],因此可以对比生成样本和真实样本的功率谱密度,即实测荷载与生成荷载的能量特征。首先利用生成器,每一类生成1000个样本,然后计算生成样本和真实样本的平均功率谱密度值,其对比结果如图7所示。两条功率谱密度曲线几乎重合,说明生成样本和真实样本有一致的能量特征。
进一步,比较生成样本和真实样本的单自由度系统响应。该单自由度系统假定质量为1,阻尼比为0.03,频率与荷载主频相同,即共振假定。首先利用生成器,每一类生成1000个样本,然后计算生成样本和真实样本的单自由度响应的加速度均方根值aRMS,其概率分布函数如图8所示。两条概率分布函数几乎重合,从结构响应方面,说明了利用GANs生成跳跃荷载的可行性。
5 结 论
不同于传统的人为假定荷载特征后统计建模的研究范式,本文采用基于深度学习理论的条件GANs和带有梯度惩罚的WGANs实现荷载特征的自动提取和样本生成,实现了研究范式的突破。研究所建立的模型GANs本质上是对样本高维分布特性的描述,相对于现有一维分布(如确定性均值模型)和二维分布(如功率谱模型)荷载模型,具有显著的理论优势。
文中所建立的GANs网络模型可以自动学习真实荷载样本的分布,并生成与真实样本分布一致的高质量样本。通过比较生成样本和真实样本的时域特征、平均功率谱密度和单自由度响应,证明了该模型的合理性,可用来构建基于网络的荷载生成平台,服务于工程结构的人致振动问题的分析与研究。
参考文献:
[1] ivanovi S, Pavic A, Reynolds P. Vibration serviceability of footbridges under humaninduced excitation: A literature review[J]. Journal of Sound and Vibration, 2005, 279(1): 174.
[2] Dallard P, Fitzpatrick A J, Flint A, et al. The London millennium footbridge[J]. Structural Engineer, 2001, 79(22): 1721.
[3] 陳 隽. 人致荷载与人致结构振动[M]. 北京: 科学出版社,2016.
Chen Jun. HumanInduced Loads and Structure Vibrations[M]. Beijing: Science Press, 2016
[4] Racic V, Pavic A. Mathematical model to generate nearperiodic human jumping force signals[J]. Mechanical Systems and Signal Processing, 2010, 24(1): 138152.
[5] Ellis B R, Ji T. Floor vibration induced by dancetype loads: Verification[J]. Structural Engineer, 1994, 72(3): 4550.
[6] Xiong J, Chen J. Power spectral density function for individual jumping load[J]. International Journal of Structural Stability and Dynamics, 2018, 18(02): 1850023.
[7] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436444.
[8] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, New York, 2016: 770778. [9] Goodfellow I, PougetAbadie J, Mirza M, et al. Generative adversarial nets[C]. Advances in Neural Information Processing Systems, Montréal, 2014: 26722680.
[10] Hinton G, Deng L, Yu D, et al. Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups[J]. IEEE Signal Processing Magazine, 2012, 29(6): 8297.
[11] Rumelhart D E, Hinton G E, Williams R J. Learning representations by backpropagating errors[J]. Nature, 1986, 323(6088): 533536.
[12] Mirza M, Osindero S. Conditional generative adversarial nets[J]. arXiv Preprint,2014: arXiv:1411.1784.
[13] Arjovsky M, Bottou L. Towards principled methods for training generative adversarial networks[J]. arXiv Preprint,2017:arXiv:1701.04862.
[14] Arjovsky M, Chintala S, Bottou L. Wasserstein GAN[J]. arXiv Preprint,2017: arXiv:1701.07875.
[15] Gulrajani I, Ahmed F, Arjovsky M, et al. Improved training of Wasserstein GANs[C]. Advances in Neural Information Processing Systems, California, 2017: 57695779.
[16] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems, Nevada, 2012: 10971105.
[17] He K, Zhang X, Ren S, et al. Delving deep into rectifiers: Surpassing humanlevel performance on imageNet classification[C]. Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, New York, 2015: 10261034.
[18] Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. arXiv Preprint,2014: arXiv:1412.6980.
[19] Abadi M, Barham P, Chen J, et al. TensorFlow: A system for largescale machine learning[C]. Proceedings of the 12th USENIX Symposium on Operating Systems Design and Implementation, Georgia, 2016, 16: 265283.
Abstract: The existing individual jumping load models are usually based on artificially extracted features, such as shapes of the impulses, impact factors and contact ratios. Meanwhile, the deep learning allows the model to automatically extract features from the samples. Moreover, the emergence of generative adversarial networks greatly promotes the quality of the generated samples. Therefore, based on conditional generative adversarial networks and Wasserstein generative adversarial networks with gradient penalty, a generative adversarial network model for individual jumping loads is proposed. The generator of the model has five fully connected layers and a onedimensional convolutional layer, while the discriminator has five fully connected layers. To collect real samples, experiments are conducted on Tongji University and Sheffield University. After one million steps, the generator can generate high quality samples that are very similar to the real samples. Finally, by comparing the power spectral density and single degree of freedom response of the generated samples with those of the real samples, it is further proved that the generative adversarial network proposed in this paper can be used to generate individual jumping loads.
Key words: jumping load; vibration serviceability; generative adversarial networks; deep learning
关键词: 跳跃荷载; 振动舒适度; 生成式对抗网络; 深度学习
中图分类号: TU312+.1 文献标志码: A 文章编号: 10044523(2019)05085607
DOI:10.16385/j.cnki.issn.10044523.2019.05.014
引 言
人群活动引起的结构振动舒适度问题,对于大跨度楼板、人行天桥和体育看台等结构的设计变得越来越重要,若考虑不充分则可能带来严重的经济损失和恶劣的社会影响[12]。在步行、跳跃、跑动和Bounce等常见的人致荷载类型中,一般认为跳跃产生的动力荷载最大 [34]。现有的跳跃荷载模型,无论是确定性的傅里叶级数模型[5]还是随机模型[6],都是基于先验的周期性或平稳性假定,从实验数据中提取特征参数及其分布特性后而建立的。
与人工确定并提取数据对象分布特征的传统建模方法相比,近年来飞速发展的深度学习理论通过多级抽象的方式来自动提取数据的特征[7]。实践证明,此类方法在分析高维数据的复杂结构方面非常出色,并已成功应用于许多领域。例如,在图像识别方面,深度卷积网络取得了比人类辨识更好的结果[8];由深度学习方法所生成的图像已经达到以假乱真的地步[9];在语音识别和自然语言处理中,循环神经网络也取得了重要的成果[10]。在众多深度学习算法中,2014年Goodfellow等提出的生成式对抗网络[9]是一类无监督的机器学习算法,由两个神经网络通过博弈方式相互竞争,它们可以隐式地从真实样本中学习数据分布特性,并利用分布生成新样本,非常适合于具有复杂数据结构的动力荷载的生成问题。因此,本文研究利用生成式对抗网络学习单人跳跃荷载的数据分布,并模拟生成高质量的单人跳跃荷载样本。
1 生成式对抗网络
1.1 生成式对抗网络的基本原理 典型的生成式对抗网络 (generative adversarial networks, GANs) 由生成器和判别器组成,如图1所示。生成器通过学习来构建从随机噪声到特定分布数据的映射函数,它以随机噪声作为输入,其输出目标是尽可能模仿训练集中的真实样本。判别器的输入则是真实样本或来自生成器的生成样本,其目的是尽可能地分辨出真实样本和生成样本,而生成器必须尽可能地欺骗判别器。两个神经网络互相竞争并通过训练不断地调整各自的参数,最终目标是真实样本和生成样本的数据分布一致,而且判别器无法区分真实样本和生成样本。
假定生成器和判别器的结构都是神经网络,生成器的输入为噪声变量z,其分布为pZ。Gz;θg表示为随机噪声到生成样本的映射函数,是具有参数θg的神经网络,由其生成的样本的分布假定为pG。判别器Dx;θd同样为具有参数θd的神经网络,其输入x为生成样本或者真实样本,其输出为单个标量,表示x是真实样本的概率。
整個训练共进行一百万步,每一步训练的样本数量为64,每次训练利用Adam算法优化判别器5次,优化生成器1次。
本文使用开源框架TensorFlow[19]进行神经网络的搭建和训练。首先使用TensorFlow完成神经网络的正向传播,即搭建图3所示生成器和判别器的各层结构,然后利用式(10)所定义的优化目标函数设计生成器和判别器中参数的优化目标。随后需调用TensorFlow的Adam优化函数,按照式(11)设置好参数取值后,利用TensorFlow自动实现目标函数对神经网络中参数的求导,进而完成整个反向传播过程。
2.4 超参数对训练结果的影响
当使用带有梯度惩罚的WGANs时,即使用式(10)为优化目标时,只要噪声和网络结构的容量足够,就可以生成高质量的样本。当其过于简单时,会导致生成样本质量差,当其过于复杂时,同样可以生成高质量的样本,但是会导致训练时间过长。
对于网络结构中的超参数,例如隐藏层的激活函数都采用ReLu,而每一层的初始权重都采用He方法是为了避免梯度消失。
对于Adam训练方法中的超参数,学习率设置得过大,会出现梯度爆炸问题,而学习率过小,会导致训练时间过长,该参数初始值一般设置得较大,每次缩小10倍,直到不再出现梯度爆炸问题。而1阶矩和2阶矩的指数衰减速率,采用文献[18]建议的默认值。
3 GANs中真实样本的来源
本研究中,GANs中的真实单人跳跃荷载样本来自两组实验,分别在同济大学和英国谢菲尔德大学完成。
同济大学实验在某步态实验室进行,如图4(a)所示。一共有67位同济大学的学生参加。每位测试者在节拍器引导下完成4组固定频率的跳跃实验,分别是1.5,2.0,2.67和3.5 Hz。跳跃过程中,用固定于刚性地面上的测力板 (AMTI OR67, USA) 记录其跳跃力时程,采样频率为100 Hz,每组记录大约30 s。谢菲尔德实验是在其结构实验室进行的,共55位测试者参加,每位测试者在节拍器引导下完成4组固定频率的跳跃实验,分别是1.5,2.0,2.4和2.8 Hz。跳跃过程中,用固定于刚性地面上的测力板 (AMTI BP400600, USA) 记录其跳跃力时程,采样频率为100 Hz,每组记录大约25 s。 对每一条原始记录,首先对测力板测得的竖向力除以测试者体重进行归一化,然后截取20 s的平稳段,接下来利用傅里叶变换求截取时程的主频,并剔除主频不在节拍器频率正负0.025 Hz范围之内的数据。最终,对于同济1.5,2.0,2.67和3.5 Hz实验,分别得到39,41,37和12条合格样本,对于谢菲尔德1.5,2.0,2.4和2.8 Hz实验,分别得到39,50,40和33条合格样本。由于中国人和外国人跳跃荷载存在差异,同时为研究GANs的生成能力,本研究中将国内和国外同频率的跳跃视为两类不同的荷载类型,即在本文中,一共有8类荷载。图5展示了一些实测样本。
4 生成样本
利用TensorFlow所建立的GANs在经过一百万次的训练后,生成器可以生成高质量的样本。条件变量可以控制生成样本的种类。图6展示了一些生成样本。
对比图5和6可见,生成样本与真实样本具有非常相似的时域特性,仅凭肉眼观察已经无法准确区分真实样本还是生成样本。
除观察方式外,进一步采用定量的方法来比较生成样本和真实样本。由于跳跃荷载具有随机性且可以假定为平稳随机过程[6],因此可以对比生成样本和真实样本的功率谱密度,即实测荷载与生成荷载的能量特征。首先利用生成器,每一类生成1000个样本,然后计算生成样本和真实样本的平均功率谱密度值,其对比结果如图7所示。两条功率谱密度曲线几乎重合,说明生成样本和真实样本有一致的能量特征。
进一步,比较生成样本和真实样本的单自由度系统响应。该单自由度系统假定质量为1,阻尼比为0.03,频率与荷载主频相同,即共振假定。首先利用生成器,每一类生成1000个样本,然后计算生成样本和真实样本的单自由度响应的加速度均方根值aRMS,其概率分布函数如图8所示。两条概率分布函数几乎重合,从结构响应方面,说明了利用GANs生成跳跃荷载的可行性。
5 结 论
不同于传统的人为假定荷载特征后统计建模的研究范式,本文采用基于深度学习理论的条件GANs和带有梯度惩罚的WGANs实现荷载特征的自动提取和样本生成,实现了研究范式的突破。研究所建立的模型GANs本质上是对样本高维分布特性的描述,相对于现有一维分布(如确定性均值模型)和二维分布(如功率谱模型)荷载模型,具有显著的理论优势。
文中所建立的GANs网络模型可以自动学习真实荷载样本的分布,并生成与真实样本分布一致的高质量样本。通过比较生成样本和真实样本的时域特征、平均功率谱密度和单自由度响应,证明了该模型的合理性,可用来构建基于网络的荷载生成平台,服务于工程结构的人致振动问题的分析与研究。
参考文献:
[1] ivanovi S, Pavic A, Reynolds P. Vibration serviceability of footbridges under humaninduced excitation: A literature review[J]. Journal of Sound and Vibration, 2005, 279(1): 174.
[2] Dallard P, Fitzpatrick A J, Flint A, et al. The London millennium footbridge[J]. Structural Engineer, 2001, 79(22): 1721.
[3] 陳 隽. 人致荷载与人致结构振动[M]. 北京: 科学出版社,2016.
Chen Jun. HumanInduced Loads and Structure Vibrations[M]. Beijing: Science Press, 2016
[4] Racic V, Pavic A. Mathematical model to generate nearperiodic human jumping force signals[J]. Mechanical Systems and Signal Processing, 2010, 24(1): 138152.
[5] Ellis B R, Ji T. Floor vibration induced by dancetype loads: Verification[J]. Structural Engineer, 1994, 72(3): 4550.
[6] Xiong J, Chen J. Power spectral density function for individual jumping load[J]. International Journal of Structural Stability and Dynamics, 2018, 18(02): 1850023.
[7] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436444.
[8] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, New York, 2016: 770778. [9] Goodfellow I, PougetAbadie J, Mirza M, et al. Generative adversarial nets[C]. Advances in Neural Information Processing Systems, Montréal, 2014: 26722680.
[10] Hinton G, Deng L, Yu D, et al. Deep neural networks for acoustic modeling in speech recognition: The shared views of four research groups[J]. IEEE Signal Processing Magazine, 2012, 29(6): 8297.
[11] Rumelhart D E, Hinton G E, Williams R J. Learning representations by backpropagating errors[J]. Nature, 1986, 323(6088): 533536.
[12] Mirza M, Osindero S. Conditional generative adversarial nets[J]. arXiv Preprint,2014: arXiv:1411.1784.
[13] Arjovsky M, Bottou L. Towards principled methods for training generative adversarial networks[J]. arXiv Preprint,2017:arXiv:1701.04862.
[14] Arjovsky M, Chintala S, Bottou L. Wasserstein GAN[J]. arXiv Preprint,2017: arXiv:1701.07875.
[15] Gulrajani I, Ahmed F, Arjovsky M, et al. Improved training of Wasserstein GANs[C]. Advances in Neural Information Processing Systems, California, 2017: 57695779.
[16] Krizhevsky A, Sutskever I, Hinton G E. ImageNet classification with deep convolutional neural networks[C]. Advances in Neural Information Processing Systems, Nevada, 2012: 10971105.
[17] He K, Zhang X, Ren S, et al. Delving deep into rectifiers: Surpassing humanlevel performance on imageNet classification[C]. Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition, New York, 2015: 10261034.
[18] Kingma D P, Ba J. Adam: A method for stochastic optimization[J]. arXiv Preprint,2014: arXiv:1412.6980.
[19] Abadi M, Barham P, Chen J, et al. TensorFlow: A system for largescale machine learning[C]. Proceedings of the 12th USENIX Symposium on Operating Systems Design and Implementation, Georgia, 2016, 16: 265283.
Abstract: The existing individual jumping load models are usually based on artificially extracted features, such as shapes of the impulses, impact factors and contact ratios. Meanwhile, the deep learning allows the model to automatically extract features from the samples. Moreover, the emergence of generative adversarial networks greatly promotes the quality of the generated samples. Therefore, based on conditional generative adversarial networks and Wasserstein generative adversarial networks with gradient penalty, a generative adversarial network model for individual jumping loads is proposed. The generator of the model has five fully connected layers and a onedimensional convolutional layer, while the discriminator has five fully connected layers. To collect real samples, experiments are conducted on Tongji University and Sheffield University. After one million steps, the generator can generate high quality samples that are very similar to the real samples. Finally, by comparing the power spectral density and single degree of freedom response of the generated samples with those of the real samples, it is further proved that the generative adversarial network proposed in this paper can be used to generate individual jumping loads.
Key words: jumping load; vibration serviceability; generative adversarial networks; deep learning