论文部分内容阅读
低频微振动在我们日常生活中、工业领域中随处可见,如生命体征监测、桥梁楼宇质检、地震监测等。但是,对低频微震动的测量参数获取比较复杂和困难,其被测对象形貌复杂,振动频率通常在几个赫兹范围,振动幅度在毫米,甚至亚毫米级别。因此,传统的接触式测量方法具有一定的局限性。为了实现快速、精确的全场振动测量,非接触式光学图像测量方法提供了一种合适的解决方案。非接触式光学图像测量方法是通过振动信号对图像特征点的像素、相位、频率等参数的调制进行测量,进而获取振动幅度、频率等信息的方法,具有非接触式测量、计算速度快、测量精度高、应用范围广等优点。从基本原理和测量方法来看,目前主流的非接触式光学图像测量研究方法包括:条纹投影法、傅里叶变换轮廓法,以及近几年开始研究的基于神经网络机器学习的统计分类法。本论文从后两类技术入手,引入了投影光栅条纹空间编码结合傅里叶变换轮廓法,以及KinectV2立体相机传感器结合卷积神经网络分类技术,提供了两种对低频微振动测量的解决方案。
基于非接触式光学图像的振动测量技术,由于被测对象的结构外形复杂,首先需要获得物体的三维信息。因此,物体表面的三维信息重构模型获得是分析和决策的基础步骤,也是测量被测目标振动参数的前提。如何获得被测物表面三维信息,从系统硬件结构来看,可以通过二维工业相机结合投影仪测量系统来实现;或者通过具有三维测量能力的立体相机系统来实现,由此本论文所涉及的理论技术包括以下两个方面:
1.相机-投影仪系统的光栅条纹法
该研究方案应用普通工业相机和商业投影仪,设计了一套基于条纹投影和傅里叶变换轮廓法的相机-投影仪测量系统,并创新性地提出了几种不同的空间条纹编码方案,实现了三维表面物体的低频微振动测量。该部分首先研究了相机-投影仪系统对振动测量的基本原理,详细分析了系统结构(相机投影仪的相对位置和角度)对系统的测量精度、紧凑性等指标的影响,并通过几何结构的理论计算确定测量精度与系统结构的关系,以便确定满足所需测量精度的最紧凑设计。在此硬件系统基础上,我们进一步对比研究了傅里叶变换轮廓法和相移法两种主流算法,对被测物表面三维信息恢复方法的适用性。与傅立叶变换轮廓方法不同,多步相移法需要投影具有不同相位的多个条纹图像,并通过相应的截断相位和相位展开恢复方法来解调相位的变化,进而还原被测表面三维信息。多步相移投影的多幅图像中包含的信息比单幅投影图像要丰富,因此相移方法可以高度还原表面三维信息。然而,由于投影多幅图像来解调一次相位变化的要求,影响了相移法在动态信息测量领域的应用。由此,本系统的算法最终确定了使用傅立叶变换轮廓法,并详细理论推导了条纹空间编码投影和傅里叶变换轮廓测量法的测量原理,并详细分析了该方法的梯度测量极限,该部分内容详见第二章。
在上述理论方法研究的基础上,论文第三章我们设计了不同条纹空间编码傅里叶变换轮廓法的振动测量,进行了对比实验验证。首先,根据第二章的理论分析,由Matlab软件设计的空间编码条纹光栅分别投影到参考平面和目标物体被测三维表面上,设计的条纹宽度与被测物体大小有一定的关系。对于漫反射物体,其表面的漫反射遵循朗伯余弦定律,即反射点将光散射,光强随反射轴的角度而变化。如果条纹宽度设置的太窄,相邻的亮条纹在扩散时会相互干扰,导致捕捉到的条纹的明暗分布不均匀。条纹边缘的模糊会导致相位信息的丢失,对测量精度有很大的影响。根据我们的实验经验,条纹宽度设置应至少为1cm,且不应超过被测对象尺寸的1/5。傅里叶轮廓算法解调被测物表面的三维信息,是通过条纹光栅投影到目标物体表面和参考平面上所发生的相位畸变获得的。初始相位被物体的高度调节,然后分别对参考图像和畸变图像进行傅里叶变换,将图像信号从时域变换到频域。由于基频分量包含相位的相关信息,对基频分量的提取也是关键点之一,这里基带分量由我们所设计的滤波器提取。然后,通过傅里叶反变换得到物体的相位分布图,利用相位与深度的关系恢复物体的三维形状。
在第三章的实验过程中,我们设计了矩形、正弦、三角三种空间条纹编码,结合傅立叶条纹轮廓法在振动测量中的理论基础,对频率、振幅可控的振动对象进行了测量研究。利用傅里叶变换轮廓术获得了振动物体在每个采样时刻的三维表面形貌重构,通过一个特定参考点的高度恢复图提取。然后将每一时刻被测振动物体上所选点的高度值按时间进行排列,绘制成轨迹曲线。最后根据绘制的轨迹曲线和CCD相机的采样率计算出振动的频率和振幅。为了验证该方法的可靠性,将三种不同空间编码的条纹投射到被测物体上。在分析矩形波作为投影模式进行频率和振幅测量的灵敏度和分辨率后,分别用正弦波和三角波作为投影模式对测量结果进行对比。结果表明,测量结果采用正弦波作为干涉图样时效果最好,系统可以检测到振动的频率精度达到0.01Hz,振幅测量精度达到30μm。
2.立体相机深度信息的卷积网络分类法
第四章我们提出了一种基于立体相机结合卷积神经网络的振动测量方法与实验研究。该研究方案应用的KinectV2立体相机传感器由三部分组成:红外光源,红外摄像机和RGB摄像机。被测物表面的三维立体深度信息是由红外光源与摄像机实现的。红外光源产生光束被衍射光栅分成多束,投射到被测物体上形成稳定的光斑图案,红外相机捕获该图案并将其与参考图案相关得出深度信息。红外相机以距传感器的已知距离捕获参考平面,并保存在传感器的内存中。当光斑投影到被测对象上时,红外图像中的光斑位置将沿基线方向在激光投影仪和红外摄像机的透视中心之间移动。通过简单的图像相关程序来生成视差图像,可以测量所有点的偏移量。因此,对于每个红外图像的像素元数据,可以从相应的视差中对应传感的距离。
该方案提出的振动测量方法基于KinectV2获得的像素元数据深度信息变化,结合卷积神经网络算法来实现目标点振动频率的测量。这项研究的创新点是,与传统的光学图像法非接触式振动测量不同,Kinect立体相机结合CNN方法用于直接振动频率测量,不需要额外的信号处理或图像处理算法。它提取测试对象边缘特征的深度变化信息,来表征深度传感器与被测对象之间的距离变化。另外,由于该方法可以直接提取振动信号,并可以将去噪处理等部分放到所提出的卷积神经网络中,因此该方法简洁快速,易于部署,该部分内容详见第四章。
在第四章的实验中,系统采用KinectV2获得元数据的深度信息,KinectV2的采样率是30Hz,测量距离范围4.5m。基于被测物的边缘变化特征,获得特征明显的振动目标点深度变化信息。在建立包含目标物体不同振动频率的深度信息变化数据集的基础上,我们提出了使用卷积神经网络的分类分析方法。根据KinectV2的采样率使用采样点数为100的一维深度变化信号作为网络的输入,建立了合适的卷积神经网络,以实现目标物体振动频率的自动检测。整个网络由五个卷积层和三个全连接层构成,并且每个卷积层之后都依次经过BN、ReLU和MaxPooling操作。由于神经网络需要大量的数据进行特征学习,在此通过大量的人工合成信号模拟实际的深度变化信号来进行网络的训练。其中,人工模拟信号在时域中与实际的深度变化信号相似,以模拟特定振动频率下的真实深度变化信号。该方案采用模拟信号发生器,通过两个部分分别产生具有随机初始相位、特定频率的标准正弦波和高斯白噪声。所模拟深度变化信号的频率范围为3Hz-6Hz,步长为1.5Hz,故生成的信号频率为3Hz、4.5Hz、6Hz。在30Hz采样率下,每步模拟信号的样本数为400,采样点数为100,数据集的总数为1200。将网络的学习率初始化为定值1x10?5,批处理大小设置为24。并采用交叉熵损失函数和Adam优化器(β1和β2分别为0.9和0.999)对网络进行参数更新。在网络的训练过程中,输入是人工合成的经过加噪处理的模拟信号,输出为与之相应的真实振动频率。由于采用人工合成信号进行网络的训练,使得网络可以实现更大的测量范围和更高的测量精度。最后,对测量过程中可能出现的误差进行了讨论和分析。同时,在改进实验算法和设备的前提下,验证了实时测量的可能性,并对未来的研究方向进行了规划。
本文第四章所采用的方法将KinectV2可以采集深度信息的特点与人工神经网络在处理复杂数据上的优点相结合,实现了目标物体振动频率的自动检测。该方法具有无接触、无标记、使用人工数据进行网络训练、不需要去噪、增强等预处理操作、自动检测振动频率等优点,并且由于人工训练数据的加噪特性,使得该方法具有很强的鲁棒性。但是,由于KinectV2深度传感器精度上的固有缺陷,电子、机械振动的噪声和相机抖动等都会对深度信息的测量值产生干扰;且由于KinectV2采用红外技术,阳光照射强度的变化和随机曝光也会对其产生一定的干扰。因此,目前该方法仅限于室内应用,并且不能检测本章进一步讨论的测量目标的所有频率分量。尽管如此,我们的实验也达到了预期的目的。综合实验结果我们可以得出,对于基于光学的振动提取和处理领域,神经网络的特征提取能力是可以利用的,为基于深度学习的光学振动测量的发展和研究提供了新的可能性。从神经网络的预测结果和目标振动物体深度信号通过FFT转换的峰值比较可以看出,预测频率和目标振动的真实频域是一致的,并且从混淆矩阵中也可以看到该方法实现了准确的检测。
本论文设计的两种非接触式光学图像测量方法,针对被测物低频振动进行测量研究,解决了光学图像测量中被测物三维表面的重构等问题,即深入研究了经典的傅立叶条纹轮廓测量法,又探索了新颖的立体相机深度信息卷积神经网络法,所涉及的理论技术可以应用于环境测量和工业监测中。
基于非接触式光学图像的振动测量技术,由于被测对象的结构外形复杂,首先需要获得物体的三维信息。因此,物体表面的三维信息重构模型获得是分析和决策的基础步骤,也是测量被测目标振动参数的前提。如何获得被测物表面三维信息,从系统硬件结构来看,可以通过二维工业相机结合投影仪测量系统来实现;或者通过具有三维测量能力的立体相机系统来实现,由此本论文所涉及的理论技术包括以下两个方面:
1.相机-投影仪系统的光栅条纹法
该研究方案应用普通工业相机和商业投影仪,设计了一套基于条纹投影和傅里叶变换轮廓法的相机-投影仪测量系统,并创新性地提出了几种不同的空间条纹编码方案,实现了三维表面物体的低频微振动测量。该部分首先研究了相机-投影仪系统对振动测量的基本原理,详细分析了系统结构(相机投影仪的相对位置和角度)对系统的测量精度、紧凑性等指标的影响,并通过几何结构的理论计算确定测量精度与系统结构的关系,以便确定满足所需测量精度的最紧凑设计。在此硬件系统基础上,我们进一步对比研究了傅里叶变换轮廓法和相移法两种主流算法,对被测物表面三维信息恢复方法的适用性。与傅立叶变换轮廓方法不同,多步相移法需要投影具有不同相位的多个条纹图像,并通过相应的截断相位和相位展开恢复方法来解调相位的变化,进而还原被测表面三维信息。多步相移投影的多幅图像中包含的信息比单幅投影图像要丰富,因此相移方法可以高度还原表面三维信息。然而,由于投影多幅图像来解调一次相位变化的要求,影响了相移法在动态信息测量领域的应用。由此,本系统的算法最终确定了使用傅立叶变换轮廓法,并详细理论推导了条纹空间编码投影和傅里叶变换轮廓测量法的测量原理,并详细分析了该方法的梯度测量极限,该部分内容详见第二章。
在上述理论方法研究的基础上,论文第三章我们设计了不同条纹空间编码傅里叶变换轮廓法的振动测量,进行了对比实验验证。首先,根据第二章的理论分析,由Matlab软件设计的空间编码条纹光栅分别投影到参考平面和目标物体被测三维表面上,设计的条纹宽度与被测物体大小有一定的关系。对于漫反射物体,其表面的漫反射遵循朗伯余弦定律,即反射点将光散射,光强随反射轴的角度而变化。如果条纹宽度设置的太窄,相邻的亮条纹在扩散时会相互干扰,导致捕捉到的条纹的明暗分布不均匀。条纹边缘的模糊会导致相位信息的丢失,对测量精度有很大的影响。根据我们的实验经验,条纹宽度设置应至少为1cm,且不应超过被测对象尺寸的1/5。傅里叶轮廓算法解调被测物表面的三维信息,是通过条纹光栅投影到目标物体表面和参考平面上所发生的相位畸变获得的。初始相位被物体的高度调节,然后分别对参考图像和畸变图像进行傅里叶变换,将图像信号从时域变换到频域。由于基频分量包含相位的相关信息,对基频分量的提取也是关键点之一,这里基带分量由我们所设计的滤波器提取。然后,通过傅里叶反变换得到物体的相位分布图,利用相位与深度的关系恢复物体的三维形状。
在第三章的实验过程中,我们设计了矩形、正弦、三角三种空间条纹编码,结合傅立叶条纹轮廓法在振动测量中的理论基础,对频率、振幅可控的振动对象进行了测量研究。利用傅里叶变换轮廓术获得了振动物体在每个采样时刻的三维表面形貌重构,通过一个特定参考点的高度恢复图提取。然后将每一时刻被测振动物体上所选点的高度值按时间进行排列,绘制成轨迹曲线。最后根据绘制的轨迹曲线和CCD相机的采样率计算出振动的频率和振幅。为了验证该方法的可靠性,将三种不同空间编码的条纹投射到被测物体上。在分析矩形波作为投影模式进行频率和振幅测量的灵敏度和分辨率后,分别用正弦波和三角波作为投影模式对测量结果进行对比。结果表明,测量结果采用正弦波作为干涉图样时效果最好,系统可以检测到振动的频率精度达到0.01Hz,振幅测量精度达到30μm。
2.立体相机深度信息的卷积网络分类法
第四章我们提出了一种基于立体相机结合卷积神经网络的振动测量方法与实验研究。该研究方案应用的KinectV2立体相机传感器由三部分组成:红外光源,红外摄像机和RGB摄像机。被测物表面的三维立体深度信息是由红外光源与摄像机实现的。红外光源产生光束被衍射光栅分成多束,投射到被测物体上形成稳定的光斑图案,红外相机捕获该图案并将其与参考图案相关得出深度信息。红外相机以距传感器的已知距离捕获参考平面,并保存在传感器的内存中。当光斑投影到被测对象上时,红外图像中的光斑位置将沿基线方向在激光投影仪和红外摄像机的透视中心之间移动。通过简单的图像相关程序来生成视差图像,可以测量所有点的偏移量。因此,对于每个红外图像的像素元数据,可以从相应的视差中对应传感的距离。
该方案提出的振动测量方法基于KinectV2获得的像素元数据深度信息变化,结合卷积神经网络算法来实现目标点振动频率的测量。这项研究的创新点是,与传统的光学图像法非接触式振动测量不同,Kinect立体相机结合CNN方法用于直接振动频率测量,不需要额外的信号处理或图像处理算法。它提取测试对象边缘特征的深度变化信息,来表征深度传感器与被测对象之间的距离变化。另外,由于该方法可以直接提取振动信号,并可以将去噪处理等部分放到所提出的卷积神经网络中,因此该方法简洁快速,易于部署,该部分内容详见第四章。
在第四章的实验中,系统采用KinectV2获得元数据的深度信息,KinectV2的采样率是30Hz,测量距离范围4.5m。基于被测物的边缘变化特征,获得特征明显的振动目标点深度变化信息。在建立包含目标物体不同振动频率的深度信息变化数据集的基础上,我们提出了使用卷积神经网络的分类分析方法。根据KinectV2的采样率使用采样点数为100的一维深度变化信号作为网络的输入,建立了合适的卷积神经网络,以实现目标物体振动频率的自动检测。整个网络由五个卷积层和三个全连接层构成,并且每个卷积层之后都依次经过BN、ReLU和MaxPooling操作。由于神经网络需要大量的数据进行特征学习,在此通过大量的人工合成信号模拟实际的深度变化信号来进行网络的训练。其中,人工模拟信号在时域中与实际的深度变化信号相似,以模拟特定振动频率下的真实深度变化信号。该方案采用模拟信号发生器,通过两个部分分别产生具有随机初始相位、特定频率的标准正弦波和高斯白噪声。所模拟深度变化信号的频率范围为3Hz-6Hz,步长为1.5Hz,故生成的信号频率为3Hz、4.5Hz、6Hz。在30Hz采样率下,每步模拟信号的样本数为400,采样点数为100,数据集的总数为1200。将网络的学习率初始化为定值1x10?5,批处理大小设置为24。并采用交叉熵损失函数和Adam优化器(β1和β2分别为0.9和0.999)对网络进行参数更新。在网络的训练过程中,输入是人工合成的经过加噪处理的模拟信号,输出为与之相应的真实振动频率。由于采用人工合成信号进行网络的训练,使得网络可以实现更大的测量范围和更高的测量精度。最后,对测量过程中可能出现的误差进行了讨论和分析。同时,在改进实验算法和设备的前提下,验证了实时测量的可能性,并对未来的研究方向进行了规划。
本文第四章所采用的方法将KinectV2可以采集深度信息的特点与人工神经网络在处理复杂数据上的优点相结合,实现了目标物体振动频率的自动检测。该方法具有无接触、无标记、使用人工数据进行网络训练、不需要去噪、增强等预处理操作、自动检测振动频率等优点,并且由于人工训练数据的加噪特性,使得该方法具有很强的鲁棒性。但是,由于KinectV2深度传感器精度上的固有缺陷,电子、机械振动的噪声和相机抖动等都会对深度信息的测量值产生干扰;且由于KinectV2采用红外技术,阳光照射强度的变化和随机曝光也会对其产生一定的干扰。因此,目前该方法仅限于室内应用,并且不能检测本章进一步讨论的测量目标的所有频率分量。尽管如此,我们的实验也达到了预期的目的。综合实验结果我们可以得出,对于基于光学的振动提取和处理领域,神经网络的特征提取能力是可以利用的,为基于深度学习的光学振动测量的发展和研究提供了新的可能性。从神经网络的预测结果和目标振动物体深度信号通过FFT转换的峰值比较可以看出,预测频率和目标振动的真实频域是一致的,并且从混淆矩阵中也可以看到该方法实现了准确的检测。
本论文设计的两种非接触式光学图像测量方法,针对被测物低频振动进行测量研究,解决了光学图像测量中被测物三维表面的重构等问题,即深入研究了经典的傅立叶条纹轮廓测量法,又探索了新颖的立体相机深度信息卷积神经网络法,所涉及的理论技术可以应用于环境测量和工业监测中。