论文部分内容阅读
摘要：无线信道均衡可以被看成将接收端符号恢复成发射符号集中某个符号的问题；而无线通信系统中的许多恢复过程可以被认为是通过学习一组具有良好的概率包络和相干时间的随机滤波器来克服信号的线性混合、旋转、时移、缩放以及卷积等特性。具体地，使用卷积神经网络（CNN）来学习这些滤波器，然后将学习到的滤波器送入后续的循环神经网络进行时域建模，最后对信号进行分类。实验显示：卷积-循环神经网络（CRNN）均衡器与传统的递归最小二乘滤波器（RLS）、多层感知机滤波器（MLP）在达到相同误码率（SER）情况下好2～4 dB。
关键词： 信道均衡；无线通信；深度学习；神经网络
Abstract： Channel equalization can be viewed as a task that classifies or reconstructs the received signal as a symbol from the transmitting symbol set at the receiver. Many recovery processes in wireless communication systems can be considered to overcome linear mixing， rotation， time-shift， scaling and convolution by learning a set of random filters with good probabilistic envelope and coherent time. Concretely， convolutional neural network （CNN） is used to learn these filters， which are send into the subsequent recurrent neural network （RNN） for temporal modeling， and finally the signals are classified. Experimental results show that our convolutional recurrent neural network-based （CRNN） equalizer outperforms the recursive least square （RLS） and multi-layer perceptron network （MLP） equalizers by average 2 to
4 dB with the same symbol error rate （SER）.
Key words： channel equalization； wireless communications； deep learning； neural network
在数字无线通信系统中，二进制符号通过色散信道传输，导致产生时延扩展和符号间串扰（ISI）；而ISI的存在阻碍了频率带宽的有效利用和系统性能的提高[1]。无线信道基本上可以用一个复数值有限脉冲响应（FIR）滤波器来表示，而信道输出是滤波器抽头权重的线性组合，并且被噪声污染。信道均衡则是基于信道观测来抵消ISI和噪声的影响，从而重建传输序列。通常，传输信道会受到线性和非线性失真的影响，现实中往往将信道建模为一个非线性系统。传统的线性均衡算法，如递归最小二乘（RLS）[2]算法，在信道非线性特性强烈及多径丰富的情况下无法保证较低的误码率。
人工神经网络的强大非线性拟合能力近来在无线信道均衡领域受到了较多关注。文献[3-4]中，作者分别使用了不同结构的神经网络进行均衡，并与传统的信道均衡器做对比，发现神经网络算法能达到更低的误比特率。文献[5]中作者提出一种基于自适应决策反馈的信道均衡器，其中使用了多层感知机（MLP）神经网络结构，来解决通信卫星的信道均衡问题。由于无线信号由复数值表示，文献[6]中作者提出一种基于复数值的多层感知机神经网络，并提出一种基于复数值的反向传播算法，使得其更适用于实际系统。
受时变信道的影响，无线信号属于时间序列数据，但是上述信道均衡器并未将这一特性考虑在内。因此，本文中我们提出一种基于卷积-循环神经网络（CRNN）的信道均衡器，其特点是既考虑了信道的非线性又兼顾了信道的时变性。我们利用卷积神经网络的平移不变性来学习像传统滤波器抽头权重那样的匹配滤波器，然后再将学习到的滤波器送入接下来的循环神经网络进行时间建模，继而就可以用于对接收到的信号进行分类。
具体地，我们使用自制的8×8并行多输入多输出（MIMO）通信系统收集实际的收发信号，构建成用于训练我们神经网络的数据集。特别地，收发端仅使用一根天线，从而组成一个单发单收系统，信号发送采用正交相移键控（QPSK）调制。据我们所知，我们是第一个采用CRNN结构进行信道均衡的[7]。我们的主要贡献总结如下：
（1）通过将信道均衡建模成一个条件概率分布学习问题，从而可以使用神经网络算法进行求解。
（2）基于问题建模，我们提出一种基于CRNN的信道均衡器，在其中既考虑了信道的非线性失真又兼顾了信道的时变性。
我们将所提出的CRNN均衡器与传统的RLS均衡器，以及MLP均衡器在誤码（SER）率性能上进行了比较。大量实验结果显示：我们的CRNN均衡器要比其他另外两个均衡器在达到相同SER时好2～4 dB。
1 问题建模
无线信道均衡可以表示成如图1所示的条件概率分布学习问题。具体地，我们假设发送符号集为S，当中包含K个符号，为方便建模，我们以自然数1～K来表示这K个符号。对于给定的接收信号[y（i）] ，信道均衡的作用就是将其识别或者还原为发送符号集的某符号[x（i）=k] ，通过计算对应于每个发送符号的条件概率（也即整个符号集的条件概率分布），我们可以得出条件概率最大的符号即为[y（i）]最可能的对应发送符号。在这当中，[y（i）]由有限个时延副本构成： 基于以上推导，目前我们需要一个标准对神经网络调整参数后的预测性能进行评估。具体地，我们引入交叉熵损失函数进行这项评价，其表示如下：
其中，m为训练集样本的个数，一个训练样本可表示为[（y（i），x（i））] 。[y（i）]為接收符号，[x（i）]为该接收信号对应的真实发送符号，在机器学习的语境中则为样本对应的标签。1{·}为指示函数，表示在大括号里的假设若为真则返回1，否则返回0。该函数对一组神经网络权重w所导致的预测误差进行计算，我们利用收集到的训练样本集合通过调节w最小化这一函数从而提高预测准确率。
2 CRNN无线信道均衡器
基于以上问题建模，我们提出一种流水线式神经网络均衡器，由2部分构成：第1部分为一个卷积神经网络；第2部分为一个循环神经网络。神经网络的原理详细可见文献[8]，本文由于篇幅所限将不深入讨论。
我们所提出的CRNN均衡器如图2所示，除输入和输出之外，其为一个5层神经网络结构。输入层为一个2xN的接收符号，分别由N个时延副本的实部和虚部构成。输入层后接第1个卷积层Conv，卷积层是卷积神经网络中最关键的环节，用于提取输入样本的特征[9]。每个卷积层都由若干个卷积核组成，每个卷积核都是一个特定长、宽的2D滤波器，在计算机中由一个随机初始化的2D权重矩阵表示。这些卷积核会以一定的步长遍历整个上层输入进行卷积操作，生成特征图，即我们前文提到的匹配滤波器。神经网络下一层为Dropout，表示上层有多少比例的神经元与下一层进行连接，由1个0～1之间的参数控制。该层的作用是适当降低神经网络的表达能力，降低神经网络过拟合的可能性。接下来的卷积层的作用与第1个卷积层相同，但是进一步学习更加抽象地表达，即可能得到的是有利于识别信号的幅度、相位、多普勒频移等特征。卷积神经网络的最后一层是1个Max-pooling层，具体操作类似于卷积核，但仅提取对应面积内最大的权重值，一方面用于减少连接数，降低复杂度，另一方面可以获得局部相似性特征。我们使用卷积神经网络的原因在于无线通信系统中许多信号识别或还原是通过学习一组具有良好的概率包络和相干时间的随机滤波器来克服信号的线性混合、旋转、时移、缩放以及卷积等特性。那么经过上述一系列操作之后，卷积神经网络就学习出了这些滤波器。
下一步我们将这些学习到的匹配滤波器送入由长短时记忆（LSTM）单元[10]构成的循环神经网络用于时间建模，以克服无线信道的时变特性。具体地，LSTM单元通过记忆上一时刻的状态并把这一状态加入当前状态的计算，来进行时间依赖学习。需要注意的是：LSTM层的权重在每一时刻都是共享的。最后，我们使用Softmax对结果进行归一化并得到发送符号的条件概率分布。
至此，我们可以开始使用大量预先收集的收发数据训练所提出的CRNN均衡器。下一步，我们将讨论如何获取这些所需数据。
3 数据获取
如图3所示，我们采用自研的8×8 MIMO系统进行数据采集，为了保证测试数据的真实性和均衡算法的可靠性，保证采集数据的多样化，我们在多个典型室内通信场景下采集无线收发数据。在采集实验中信号发射端采用正交相移键控（QPSK）调制模式，发送端以100 Mbit/s的码片速率连续发送4 096个QPSK码片200次。采集的数据平均分布于信噪比为-10～20 dB的区间内，且为简单地验证起见，采集过程中我们仅使用单发单收设置。值得注意的是：在特定信噪比下收集的数据将单独构成子数据集，我们的CRNN训练将由每个不同的子数据集单独训练并筛选出表现最好的模型。具体地，每个子数据集包含11万对收发数据，其中10万对数据用于训练CRNN，其余数据用于对模型进行测试。
4 模型训练及测试结果
4.1 超参数优化
在第3节中，我们指出通过调整神经网络的连接权重w，就可以优化神经网络均衡器对于接收信号的预测结果。除了连接权重这些参数，类似于神经网络隐藏层个数、特定隐藏层的神经元个数、神经网络进行训练时的梯度下降学习率等需要人工试验的参数，我们称之为超参数。因此，均衡器最终的预测效果除了依赖于神经网络的连接权重，也取决于神经网络的各个超参数。而如何确定超参数的值，以及采取何种操作使得神经网络的预测效果最好的过程被称为超参数优化。
在实际工程中，我们通常使用网格搜索法进行超参数优化，也即采用穷搜法逐个试验各个人工设定的超参数组合，从而确定一组最佳超参数组合。本文中，我们将固定一些超参数从而避免搜索空间过大，导致调节效率低下。
除批数量外，表1中选取固定的超参数基本为我们的CRNN均衡器的结构参数。批数量是利用数据集进行最小化损失函数的随机梯度下降操作时需要确定的参数，它决定了在每次梯度下降时可同时参与更新权重w所应选取的数据个数。
选取了固定的超参数之后，我们需要对剩下的超参数进行优化。具体地，我们将优化学习率[γ] 、Dropout层神经元连接丢弃比率、训练批次等3个超参数。如图4所示，在训练过程中交叉熵损失在当学习率[γ=1×10-2] 或[γ=1×10-3] 时下降。虽然不够明显，但[γ=1×10-3]时交叉熵损失函数收敛到一个更低的值。我们还可以看到：当[γ=1×10-1] 时，交叉熵损失一直处于振荡状态并未明显下降。这说明此学习率过大，对于梯度下降步长过大导致无法找到正确的使损失函数下降的方向。我们将训练集划分为互不相交的训练集和验证集，与之对应得到的准确率分别为训练准确率和验证准确率。验证准确率指示了模型的泛化性能，因为验证集中的数据在训练集中从未遇到过。从而，我们可以利用验证准确率来判断该超参数设置是否真正有效。图5表示当我们设置不同的神经元连接丢失比率时，CRNN均衡器预测准确率的表现，其中实线为训练准确率，虚线为验证准确率。可以看出：当Dropout层神经元连接丢弃比率为0时，我们得到更高的训练准确率和验证准确率，这说明先前的超参数设置导致的模型训练结果并未过拟合我们的训练集。因此，针对本文实验而言，Dropout层并无必要加入CRNN均衡器结构中。最后一个需要优化的超参数为训练批次，其定义为训练集被完全迭代的次数，而训练过程遍历完一次训练集称为训练一个批次。当训练批次较大时，不同的训练批次导致的验证准确率差别很小，因此我们使用验证误差来评价超参数的影响。如图6所示，训练批次对于准确率的增益是有上限的。那么我们需要找到最小的上限，以防止过度训练。在工程实验中，我们可以使用训练提前停止方法，即监测控制训练批次对于准确率增益的影响，当相邻若干次准确率增长非常小时，我们认为训练批次达到了它对于准确率增益的上限，这时便可以提前终止训练。在我们的实验中，当训练批次为40时，验证误差最小，也即验证准确率最大。另外，需要强调的是：上述超参数优化是在信噪比为15 dB的数据集下进行的。我们在线下对比发现：信噪比为15 dB时的数据集训练出的CRNN均衡器的泛化性能最好，因此我们在其他信噪比下也使用信噪比为15 dB的数据集模型。 4.2 误码率性能
误码率（SER）是信道均衡器的一个重要性能指标，我们也实现了RLS均衡器和MLP均衡器并将它们与我们训练得到的CRNN均衡器对比SER性能。
圖6显示了3种信道均衡器在信噪比为-10～20 dB时的SER性能，显然当信噪比低于0 dB时，它们均无法符合性能要求，此时CRNN基本只能从噪声中学习而无法学习到有效的信道特征。当信噪比在0～10 dB时，CRNN均衡器在达到相同SER情况下要比RLS、MLP均衡器平均高2 dB。而当信噪比在10～15 dB时，CRNN均衡器在达到相同SER情况下比另外两个均衡器平均高4 dB，这意味着CRNN在信号特征明显时能比传统均衡器学习到更多的信道特征。
5 结束语
本文中我们提出了一种基于CRNN的算法，来解决非线性时变信道的均衡问题，并在实际系统中进行了验证。具体地，我们使用卷积神经网络来学习匹配滤波器，然后将学习到的滤波器送入后续的循环神经网络进行时域建模，最后对信号进行分类。实验表明：相比RLS、MLP算法，CRNN均衡算法能够更好地处理真实通信环境中的无线信道均衡问题。
参考文献
[1] LYU X， FENG W， SHI R， et al. Artificial Neural Networkbased Nonlinear Channel Equalization： A Soft-Output Perspective[C]// Proceedings of the International Conference on Telecommunications （ICT）. USA：IEEE， 2015： 243-248.DOI： 10.1109/ICT.2015.7124690
[2] WANG Y. Channel Equalization Using a Robust Recursive Least-Squares Adaptive-Filtering Algorithm[C]//Proceedings of the IEEE International Conference on Computer and Information Technology （ICCIT）.USA：IEEE， 2012： 135-138.DOI： 10.1109/CIT.2012.49
[3] BURSE K， YADAY R N， SHRIVASTAVA S C. Channel Equalization Using Neural Networks： A Review[J].IEEE Transactions on Systems， Man，and Cybernetics， Part C （Applications and Reviews），2010，40（3）： 352-357.DOI： 10.1109/TSMCC.2009.2038279
[4] PATRA J C， BENG POH W， CHAUDHARI N S， et al. Nonlinear Channel Equalization with QAM Signal Using Chebyshev Artificial Neural Network[C]// Proceedings of the IEEE International Joint Conference on Neural Networks. USA：IEEE， 2005，（5）：3214-3219.DOI： 10.1109/IJCNN.2005.1556442
[5] CHANG P， WANG B. Adaptive Decision Feedback Equalization for Digital Satellite Channels Using Multilayer Neural Networks[J].IEEE Journal on Selected Areas in Communications， 1995，13（2）： 316-324
[6] HUANG R C， CHEN M S. Adaptive Equalization Using Complex-Valued Multilayered Neural Network Based on the Extended Kalman Filter[C]// Proceedings of the International Conference on Signal Processing. USA：IEEE， 2000：519-524
[7] LI Y， CHEN M H， YANG Y， M.T.et al. Convolutional Recurrent Neural Network-Based Channel Equalization： An Experimental Study[C]// Proceedings of the Aisa-Pacific Conference on Communications （APCC）. USA：IEEE， 2017. DOI： 10.23919/APCC.2017.8304090
[8] GOODFELLOW I， BENGIO Y， COURVILLE A. Deep Learning[M]. USA：MIT Press， 2016
[9] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-Based Learning Applied to Document Recognition[C]//Proceedings of the IEEE. USA：IEEE， 1998， 86（11）：2278-2324
[10] HOCHREITER S， SCHMIDHUBER J. Long Short-Term Memory[J]. Neural Computation， 1997， 9（8）：1735-1780
关键词： 信道均衡；无线通信；深度学习；神经网络
Abstract： Channel equalization can be viewed as a task that classifies or reconstructs the received signal as a symbol from the transmitting symbol set at the receiver. Many recovery processes in wireless communication systems can be considered to overcome linear mixing， rotation， time-shift， scaling and convolution by learning a set of random filters with good probabilistic envelope and coherent time. Concretely， convolutional neural network （CNN） is used to learn these filters， which are send into the subsequent recurrent neural network （RNN） for temporal modeling， and finally the signals are classified. Experimental results show that our convolutional recurrent neural network-based （CRNN） equalizer outperforms the recursive least square （RLS） and multi-layer perceptron network （MLP） equalizers by average 2 to
4 dB with the same symbol error rate （SER）.
Key words： channel equalization； wireless communications； deep learning； neural network
在数字无线通信系统中，二进制符号通过色散信道传输，导致产生时延扩展和符号间串扰（ISI）；而ISI的存在阻碍了频率带宽的有效利用和系统性能的提高[1]。无线信道基本上可以用一个复数值有限脉冲响应（FIR）滤波器来表示，而信道输出是滤波器抽头权重的线性组合，并且被噪声污染。信道均衡则是基于信道观测来抵消ISI和噪声的影响，从而重建传输序列。通常，传输信道会受到线性和非线性失真的影响，现实中往往将信道建模为一个非线性系统。传统的线性均衡算法，如递归最小二乘（RLS）[2]算法，在信道非线性特性强烈及多径丰富的情况下无法保证较低的误码率。
人工神经网络的强大非线性拟合能力近来在无线信道均衡领域受到了较多关注。文献[3-4]中，作者分别使用了不同结构的神经网络进行均衡，并与传统的信道均衡器做对比，发现神经网络算法能达到更低的误比特率。文献[5]中作者提出一种基于自适应决策反馈的信道均衡器，其中使用了多层感知机（MLP）神经网络结构，来解决通信卫星的信道均衡问题。由于无线信号由复数值表示，文献[6]中作者提出一种基于复数值的多层感知机神经网络，并提出一种基于复数值的反向传播算法，使得其更适用于实际系统。
受时变信道的影响，无线信号属于时间序列数据，但是上述信道均衡器并未将这一特性考虑在内。因此，本文中我们提出一种基于卷积-循环神经网络（CRNN）的信道均衡器，其特点是既考虑了信道的非线性又兼顾了信道的时变性。我们利用卷积神经网络的平移不变性来学习像传统滤波器抽头权重那样的匹配滤波器，然后再将学习到的滤波器送入接下来的循环神经网络进行时间建模，继而就可以用于对接收到的信号进行分类。
具体地，我们使用自制的8×8并行多输入多输出（MIMO）通信系统收集实际的收发信号，构建成用于训练我们神经网络的数据集。特别地，收发端仅使用一根天线，从而组成一个单发单收系统，信号发送采用正交相移键控（QPSK）调制。据我们所知，我们是第一个采用CRNN结构进行信道均衡的[7]。我们的主要贡献总结如下：
（1）通过将信道均衡建模成一个条件概率分布学习问题，从而可以使用神经网络算法进行求解。
（2）基于问题建模，我们提出一种基于CRNN的信道均衡器，在其中既考虑了信道的非线性失真又兼顾了信道的时变性。
我们将所提出的CRNN均衡器与传统的RLS均衡器，以及MLP均衡器在誤码（SER）率性能上进行了比较。大量实验结果显示：我们的CRNN均衡器要比其他另外两个均衡器在达到相同SER时好2～4 dB。
1 问题建模
无线信道均衡可以表示成如图1所示的条件概率分布学习问题。具体地，我们假设发送符号集为S，当中包含K个符号，为方便建模，我们以自然数1～K来表示这K个符号。对于给定的接收信号[y（i）] ，信道均衡的作用就是将其识别或者还原为发送符号集的某符号[x（i）=k] ，通过计算对应于每个发送符号的条件概率（也即整个符号集的条件概率分布），我们可以得出条件概率最大的符号即为[y（i）]最可能的对应发送符号。在这当中，[y（i）]由有限个时延副本构成： 基于以上推导，目前我们需要一个标准对神经网络调整参数后的预测性能进行评估。具体地，我们引入交叉熵损失函数进行这项评价，其表示如下：
其中，m为训练集样本的个数，一个训练样本可表示为[（y（i），x（i））] 。[y（i）]為接收符号，[x（i）]为该接收信号对应的真实发送符号，在机器学习的语境中则为样本对应的标签。1{·}为指示函数，表示在大括号里的假设若为真则返回1，否则返回0。该函数对一组神经网络权重w所导致的预测误差进行计算，我们利用收集到的训练样本集合通过调节w最小化这一函数从而提高预测准确率。
2 CRNN无线信道均衡器
基于以上问题建模，我们提出一种流水线式神经网络均衡器，由2部分构成：第1部分为一个卷积神经网络；第2部分为一个循环神经网络。神经网络的原理详细可见文献[8]，本文由于篇幅所限将不深入讨论。
我们所提出的CRNN均衡器如图2所示，除输入和输出之外，其为一个5层神经网络结构。输入层为一个2xN的接收符号，分别由N个时延副本的实部和虚部构成。输入层后接第1个卷积层Conv，卷积层是卷积神经网络中最关键的环节，用于提取输入样本的特征[9]。每个卷积层都由若干个卷积核组成，每个卷积核都是一个特定长、宽的2D滤波器，在计算机中由一个随机初始化的2D权重矩阵表示。这些卷积核会以一定的步长遍历整个上层输入进行卷积操作，生成特征图，即我们前文提到的匹配滤波器。神经网络下一层为Dropout，表示上层有多少比例的神经元与下一层进行连接，由1个0～1之间的参数控制。该层的作用是适当降低神经网络的表达能力，降低神经网络过拟合的可能性。接下来的卷积层的作用与第1个卷积层相同，但是进一步学习更加抽象地表达，即可能得到的是有利于识别信号的幅度、相位、多普勒频移等特征。卷积神经网络的最后一层是1个Max-pooling层，具体操作类似于卷积核，但仅提取对应面积内最大的权重值，一方面用于减少连接数，降低复杂度，另一方面可以获得局部相似性特征。我们使用卷积神经网络的原因在于无线通信系统中许多信号识别或还原是通过学习一组具有良好的概率包络和相干时间的随机滤波器来克服信号的线性混合、旋转、时移、缩放以及卷积等特性。那么经过上述一系列操作之后，卷积神经网络就学习出了这些滤波器。
下一步我们将这些学习到的匹配滤波器送入由长短时记忆（LSTM）单元[10]构成的循环神经网络用于时间建模，以克服无线信道的时变特性。具体地，LSTM单元通过记忆上一时刻的状态并把这一状态加入当前状态的计算，来进行时间依赖学习。需要注意的是：LSTM层的权重在每一时刻都是共享的。最后，我们使用Softmax对结果进行归一化并得到发送符号的条件概率分布。
至此，我们可以开始使用大量预先收集的收发数据训练所提出的CRNN均衡器。下一步，我们将讨论如何获取这些所需数据。
3 数据获取
如图3所示，我们采用自研的8×8 MIMO系统进行数据采集，为了保证测试数据的真实性和均衡算法的可靠性，保证采集数据的多样化，我们在多个典型室内通信场景下采集无线收发数据。在采集实验中信号发射端采用正交相移键控（QPSK）调制模式，发送端以100 Mbit/s的码片速率连续发送4 096个QPSK码片200次。采集的数据平均分布于信噪比为-10～20 dB的区间内，且为简单地验证起见，采集过程中我们仅使用单发单收设置。值得注意的是：在特定信噪比下收集的数据将单独构成子数据集，我们的CRNN训练将由每个不同的子数据集单独训练并筛选出表现最好的模型。具体地，每个子数据集包含11万对收发数据，其中10万对数据用于训练CRNN，其余数据用于对模型进行测试。
4 模型训练及测试结果
4.1 超参数优化
在第3节中，我们指出通过调整神经网络的连接权重w，就可以优化神经网络均衡器对于接收信号的预测结果。除了连接权重这些参数，类似于神经网络隐藏层个数、特定隐藏层的神经元个数、神经网络进行训练时的梯度下降学习率等需要人工试验的参数，我们称之为超参数。因此，均衡器最终的预测效果除了依赖于神经网络的连接权重，也取决于神经网络的各个超参数。而如何确定超参数的值，以及采取何种操作使得神经网络的预测效果最好的过程被称为超参数优化。
在实际工程中，我们通常使用网格搜索法进行超参数优化，也即采用穷搜法逐个试验各个人工设定的超参数组合，从而确定一组最佳超参数组合。本文中，我们将固定一些超参数从而避免搜索空间过大，导致调节效率低下。
除批数量外，表1中选取固定的超参数基本为我们的CRNN均衡器的结构参数。批数量是利用数据集进行最小化损失函数的随机梯度下降操作时需要确定的参数，它决定了在每次梯度下降时可同时参与更新权重w所应选取的数据个数。
选取了固定的超参数之后，我们需要对剩下的超参数进行优化。具体地，我们将优化学习率[γ] 、Dropout层神经元连接丢弃比率、训练批次等3个超参数。如图4所示，在训练过程中交叉熵损失在当学习率[γ=1×10-2] 或[γ=1×10-3] 时下降。虽然不够明显，但[γ=1×10-3]时交叉熵损失函数收敛到一个更低的值。我们还可以看到：当[γ=1×10-1] 时，交叉熵损失一直处于振荡状态并未明显下降。这说明此学习率过大，对于梯度下降步长过大导致无法找到正确的使损失函数下降的方向。我们将训练集划分为互不相交的训练集和验证集，与之对应得到的准确率分别为训练准确率和验证准确率。验证准确率指示了模型的泛化性能，因为验证集中的数据在训练集中从未遇到过。从而，我们可以利用验证准确率来判断该超参数设置是否真正有效。图5表示当我们设置不同的神经元连接丢失比率时，CRNN均衡器预测准确率的表现，其中实线为训练准确率，虚线为验证准确率。可以看出：当Dropout层神经元连接丢弃比率为0时，我们得到更高的训练准确率和验证准确率，这说明先前的超参数设置导致的模型训练结果并未过拟合我们的训练集。因此，针对本文实验而言，Dropout层并无必要加入CRNN均衡器结构中。最后一个需要优化的超参数为训练批次，其定义为训练集被完全迭代的次数，而训练过程遍历完一次训练集称为训练一个批次。当训练批次较大时，不同的训练批次导致的验证准确率差别很小，因此我们使用验证误差来评价超参数的影响。如图6所示，训练批次对于准确率的增益是有上限的。那么我们需要找到最小的上限，以防止过度训练。在工程实验中，我们可以使用训练提前停止方法，即监测控制训练批次对于准确率增益的影响，当相邻若干次准确率增长非常小时，我们认为训练批次达到了它对于准确率增益的上限，这时便可以提前终止训练。在我们的实验中，当训练批次为40时，验证误差最小，也即验证准确率最大。另外，需要强调的是：上述超参数优化是在信噪比为15 dB的数据集下进行的。我们在线下对比发现：信噪比为15 dB时的数据集训练出的CRNN均衡器的泛化性能最好，因此我们在其他信噪比下也使用信噪比为15 dB的数据集模型。 4.2 误码率性能
误码率（SER）是信道均衡器的一个重要性能指标，我们也实现了RLS均衡器和MLP均衡器并将它们与我们训练得到的CRNN均衡器对比SER性能。
圖6显示了3种信道均衡器在信噪比为-10～20 dB时的SER性能，显然当信噪比低于0 dB时，它们均无法符合性能要求，此时CRNN基本只能从噪声中学习而无法学习到有效的信道特征。当信噪比在0～10 dB时，CRNN均衡器在达到相同SER情况下要比RLS、MLP均衡器平均高2 dB。而当信噪比在10～15 dB时，CRNN均衡器在达到相同SER情况下比另外两个均衡器平均高4 dB，这意味着CRNN在信号特征明显时能比传统均衡器学习到更多的信道特征。
5 结束语
本文中我们提出了一种基于CRNN的算法，来解决非线性时变信道的均衡问题，并在实际系统中进行了验证。具体地，我们使用卷积神经网络来学习匹配滤波器，然后将学习到的滤波器送入后续的循环神经网络进行时域建模，最后对信号进行分类。实验表明：相比RLS、MLP算法，CRNN均衡算法能够更好地处理真实通信环境中的无线信道均衡问题。
参考文献
[1] LYU X， FENG W， SHI R， et al. Artificial Neural Networkbased Nonlinear Channel Equalization： A Soft-Output Perspective[C]// Proceedings of the International Conference on Telecommunications （ICT）. USA：IEEE， 2015： 243-248.DOI： 10.1109/ICT.2015.7124690
[2] WANG Y. Channel Equalization Using a Robust Recursive Least-Squares Adaptive-Filtering Algorithm[C]//Proceedings of the IEEE International Conference on Computer and Information Technology （ICCIT）.USA：IEEE， 2012： 135-138.DOI： 10.1109/CIT.2012.49
[3] BURSE K， YADAY R N， SHRIVASTAVA S C. Channel Equalization Using Neural Networks： A Review[J].IEEE Transactions on Systems， Man，and Cybernetics， Part C （Applications and Reviews），2010，40（3）： 352-357.DOI： 10.1109/TSMCC.2009.2038279
[4] PATRA J C， BENG POH W， CHAUDHARI N S， et al. Nonlinear Channel Equalization with QAM Signal Using Chebyshev Artificial Neural Network[C]// Proceedings of the IEEE International Joint Conference on Neural Networks. USA：IEEE， 2005，（5）：3214-3219.DOI： 10.1109/IJCNN.2005.1556442
[5] CHANG P， WANG B. Adaptive Decision Feedback Equalization for Digital Satellite Channels Using Multilayer Neural Networks[J].IEEE Journal on Selected Areas in Communications， 1995，13（2）： 316-324
[6] HUANG R C， CHEN M S. Adaptive Equalization Using Complex-Valued Multilayered Neural Network Based on the Extended Kalman Filter[C]// Proceedings of the International Conference on Signal Processing. USA：IEEE， 2000：519-524
[7] LI Y， CHEN M H， YANG Y， M.T.et al. Convolutional Recurrent Neural Network-Based Channel Equalization： An Experimental Study[C]// Proceedings of the Aisa-Pacific Conference on Communications （APCC）. USA：IEEE， 2017. DOI： 10.23919/APCC.2017.8304090
[8] GOODFELLOW I， BENGIO Y， COURVILLE A. Deep Learning[M]. USA：MIT Press， 2016
[9] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-Based Learning Applied to Document Recognition[C]//Proceedings of the IEEE. USA：IEEE， 1998， 86（11）：2278-2324
[10] HOCHREITER S， SCHMIDHUBER J. Long Short-Term Memory[J]. Neural Computation， 1997， 9（8）：1735-1780