1 引言

雷达目标分类^[1–3]在军事和民用领域都发挥着重要的作用。传统的目标分类方法首先需要提取目标特征，然后通过分类器进行分类。其中特征提取是关键步骤，所提特征质量的好坏直接影响着分类性能的优劣。然而，传统的特征提取方法是浅层次的，且依赖于研究人员的专业知识和经验。因此如何自动地从数据中提取有利于目标分类的深层特征成了一个重要的问题。

目前，深度学习^[4,5]在模式识别和机器学习中得到了广泛关注。深度学习的本质是构建一个包含多个隐含层的神经网络来映射数据以获得高层抽象信息。在训练深度学习模型时，首先利用无监督学习逐层训练网络，并将每层输出作为下一层的输入，然后利用监督学习从上到下对网络进行微调。目前广泛应用的深度学习模型有深度信念网络(Deep Belief Network, DBN)^[4]，栈式自编码器(Stacked AutoEncoder, SAE)^[6]和卷积神经网络(Convolutional Neural Networks, CNN)^[7]。虽然这些模型在语音识别^[7]、目标分类^[8]和年龄估计^[9]等领域有好的表现，但其微调过程需要耗费大量时间，从而降低网络训练速度。

为了解决这个问题，黄广斌等人^[10]提出了极限学习机(Extreme Learning Machine, ELM)算法。该算法的思想是随机生成输入权重和隐层偏置，然后通过求解输出权重的最小二乘范数解来训练网络^[11]。ELM不仅具有比传统学习方法更快的学习速度，而且具有良好的泛化性能。由于这些优点，ELM被应用在很多领域，如在线序列学习^[12]、人脸识别^[13]、图像分析^[14]、聚类^[15]以及雷达目标分类^[16]等。然而，我们知道，由于其浅层架构，ELM可能无法有效地捕获数据的高层抽象信息。文献[17]提出一种深度极限学习机(Deep Extreme Learning Machine, DELM)算法，多层网络结构使其能够在数据中提取高层抽象信息，此外，与其他深度网络相比，DELM可以获得更好的性能。文献[18]提出一种多层模型DrELM，该算法依据栈式泛化理论通过堆叠ELM能获得目标深层特征表达。在文献[19]中，极限学习机-自动编码器(ELM-AE)被用作学习单元以学习网络中每层的局部感受野，同时为了保留更多信息，低层的输出被传送到最后一层以形成更完整的特征表示。文献[20]提出了一种新的基于ELM的多层感知学习框架，并在公共数据集上进行了实验，结果表明，该算法比现有的分层学习算法具有更好的收敛速度。

然而，在模型训练过程中，样本的数量和质量直接影响着网络权重参数的调整。当训练样本有限时，模型很容易陷入过拟合。因此有必要研究当训练样本有限时防止深度模型过拟合的方法。Dropout是Hinton^[21]在2012提出的解决这一问题的新技术。该技术的核心是在网络训练时从网络中随机删除一些隐藏节点及其连接，从而防止由于特征间的共同作用而引起的过拟合^[22]。研究结果表明，Dropout可以提高神经网络在计算机视觉、语音识别、文本分类等应用中的学习性能。文献[23]研究了Dropout的各种性质，包括收敛性质、优化性质和逼近性质。文献[24]从理论层面研究了Dropout能有效解决过拟合问题的原因。文献[25]提出了在深度神经网络中自适应Dropout参数的方法。在文献[26]中，Dropout被引入到深度卷积神经网络的训练过程中，并在中文字符识别中得到应用。文献[27]提出了理解Dropout的通用框架。虽然深度极限学习机可以获得目标的深层抽象信息，但在训练样本有限的情况下，模型容易过拟合。为了解决这一问题，本文提出了一种基于Dropout约束的深度极限学习机(DCDELM)算法。

本文的主要内容如下：第2节介绍了深度极限学习机和Dropout的相关理论知识；在第3节中，提出基于Dropout约束的深度极限学习机。实验结果在第4部分进行了分析，第5部分对论文进行总结。

2 理论背景 2.1 极限学习机

基于梯度的学习算法存在训练速度慢、泛化性能差的缺点。为了解决这些问题，Huang等人^[10]提出了极限学习机(ELM)算法。该算法模型由3层网络组成，分别为输入层、隐藏层和输出层。给定一个含有 $N$ 个训练样本的数据集 $({{{x}}_i},{{{t}}_i})$ ，其中 $i = 1,2, ·\!·\!· ,N$ , ${{x}_i} = {\left[ {{x_{i1}},{x_{i2}}, ·\!·\!· ,{x_{in}}} \right]^ {\rm{T}}} \in {{{R}}^n}$ , $ {{t}_i} = \left[ {t_{i1}}, \right.$ $\left. {t_{i2}},·\!·\!· ,{t_{im}} \right]^ {\rm{T}} \in {{{R}}^m}$ 。如果该模型结构有 $L$ 个隐藏层节点， $m$ 个输出节点，并且隐层激活函数为 $g(x)$ ，则隐层输出可用式(1)表示。如果这个含有 $L$ 个隐藏层节点的网络能够以0误差逼近输入的 $N$ 个训练样本，则网络输出可用式(2)表示。

其中， ${{β}} $ 是隐层节点和输出节点间的权重向量。

式(2)可以转化为：

其中

因此训练ELM相当于求解 ${{β}} $ 的最小二乘范数解，其表达式为：

其中， ${{{H}}^ + }$ 为隐层输出矩阵 ${{H}}$ 的Moore-Penrose广义逆。

式(6)可转化为：

其中， ${{I}}$ 为单位矩阵， $C$ 为岭参数(也称正则化系数)。

ELM也可以用优化的方法解释。ELM理论的目标是使得训练误差 ${\left\| {{{H}}{{β}} - {{T}}} \right\|^2}$ 和输出权值的范数解 $\left\| {{β}} \right\|$ 达到最小。则式(3)可通过式(8)求解：

其中， ${{ξ}_i}$ 是 $m$ 个输出节点相对于训练样本 ${{{x}}_i}$ 的训练误差向量。 ${{h}}({{{x}}_i})$ 是第 $i$ 个样本 ${{{x}}_i}$ 的隐层输出向量。基于Karush-Kuhn-Tucker (KKT)理论，可以获得和式(7)相同的解。

2.2 极限学习机-自动编码器

自动编码器(AutoEncoder, AE)是一种无监督的神经网络。它通过对输入进行编码，然后再进行解码以重构该输入。极限学习机-自动编码器(ELM-AE)是一种新的神经网络方法，它可以像AE一样重构输入数据。ELM-AE也由3层网络组成，分别为输入层、隐藏层和输出层。ELM-AE的框架在图1中给出。ELM-AE和传统ELM的主要区别在于，ELM是一种监督学习算法，其输出是目标类别。而ELM-AE是一种无监督学习算法，它的输出即为其输入。给定一个含有 $N$ 个样本的数据集 ${{x}_i},i = $ $1,2, ·\!·\!· ,N,{{x}_i} \in {{{R}}^i}$ ，则ELM-AE的隐层输出可用式(9)表示，其网络输出可用式(10)表示。

ELM-AE隐层参数在随机生成后需要进行正交化。这样可以有效地将输入数据映射到随机子空间。与ELM随机初始化输入权重和隐层偏置相比，正交化可以更好地捕获输入数据的各种边缘特征，从而使模型能够有效地学习数据的非线性结构。输出权重可通过式(11)进行计算：

2.3 深度极限学习机

在训练深度学习模型时，需要首先采用无监督学习算法对各层的参数进行训练，然后利用监督学习对网络进行微调。其中微调的过程需要耗费很多时间。2013年，黄广斌等人^[17]提出了深度极限学习机(Deep Extreme Learning Machine, DELM)。与其他深度学习模型一样，DELM使用无监督学习方法ELM-AE来训练每层的参数，但不同的是DELM不需要对网络进行微调。这样，与其他深度学习算法相比，DELM不需要花费很长的时间来训练网络。图2显示了DELM的训练过程。

给定 $N$ 个训练样本集，网络隐层数为 $k$ ，网络需要学习的权重参数为 ${{W}} = \left\{ {{{W}}_1},{{{W}}_2}, ·\!·\!·,{{{W}}_k},\right. $ $ \left.{{{W}}_{k + 1}} \right\}$ , ${{{X}}_i}$ 表示第 $i$ 个ELM-AE的输入。通过最小化重构误差，我们可以获得输入数据的特征表达，并将其作为下一层网络的输入。正如图2所示，网络的输入被看做是第1个ELM-AE的输入和输出，即 ${{T}} = {{{X}}_1} = {{X}}$ ，然后根据式(11)可以求得输出权重 ${{{β}} _1}$ 。将第1个ELM-AE的隐层输出 ${{{H}}_1}\Bigr( $ 其中 ${{{H}}_k} = {{g}}\left({{{β}} _k}\!\!^ {\rm{T}}{{{H}}_{k - 1}}\right)\Bigr)$ 作为第2个ELM-AE的输入和输出，即 ${{T}} = {{{X}}_2} = {{{H}}_1}$ 。用相同的方法，第 $k$ 个隐层之前的网络连接权重均可求得。根据自动编码器理论，其编码层和解码层的权重互为转置，因此，深度极限学习机第 $k$ 个隐层之前的网络连接权重为 ${{{W}}_\tau } = {{β}} _\tau\!\!^ {\rm{T}}(\tau = 1, ·\!·\!· ,k)$ 。最后，将 ${{H}_k}$ 视为监督层极限学习机的隐层输出，则其输出权重 ${{{W}}_{k + 1}}$ 可根据式(7)求得。至此，完成深度极限学习机的训练过程。

2.4 Dropout理论

Dropout是提高网络泛化能力的有效途径。Dropout的意思是指在网络训练过程中将神经元随机移除。移除一个神经元，是将它连同它的所有输入和输出连接从网络中暂时丢弃。正如图3所示。选择将哪一个神经元丢弃是随机的，通常每一个神经元以独立于其他神经元的固定概率被保留。由于神经元是随机丢弃的，故而对于每一次训练，网络都在发生变化，这样的设计可以避免网络对于某一局部特征的过拟合。

3 基于Dropout约束的深度极限学习机

虽然深度极限学习机(DELM)能够捕获目标的抽象信息，但当训练样本有限时，模型容易陷入过拟合。为了解决这一问题，本文提出一种基于Dropout约束的深度极限学习机(DCDELM)算法，将Dropout技术引入到DELM的训练过程中，以提高模型泛化能力。

通过引入Dropout, ELM-AE的优化过程可改写为：

其中， ${{h}}({{{x}}_{i,t}})$ 为引入Dropout后的隐层输出， ${{h}}({{{x}}_{i,t}}) = $ ${{{γ}} _{i,t}} * {{h}}({{{x}}_i})$ 。 ${{{γ}} _{i,t}}$ 为服从Bernoulli分布的向量，其每一个元素以概率 $p$ 等于1，以概率 $1 - p$ 等于0。 $ * $ 表示两个向量的哈达玛乘积。 $\hat N$ 为迭代次数。

定义 $\tilde {{h}}({{{x}}_{i,t}}) = {{h}}({{{x}}_i}) - {{h}}({{{x}}_{i,t}})$ ，则

其中， $\tilde {{h}}({{{x}}_{i,t}}) = {\tilde {{γ}} _{i,t}} * {{h}}({{{x}}_i})$ , ${\tilde {{γ}} _{i,t}}$ 为服从Bernoulli分布的向量，其每一个元素以概率 $p$ 等于0，以概率 $1 - p$ 等于1。

通过定义Lagrange函数来解决式(12)的优化问题：

则

其中， ${{R}} = \displaystyle\frac{1}{{\hat N}}\displaystyle\sum\limits_{t = 1}^{\hat N} {\tilde {{H}}_t^ {\rm{T}}{{\tilde {{H}}}_t}} $ 。

则式(12)的解为：

需要注意的是，当 $\hat N$ 为有限值时，在求解输出权重 ${{β}} $ 时，还需要计算 ${\tilde {{H}}_t}$ 和 ${{R}}$ ，这样势必会增加网络计算复杂度，从而增加网络训练时间。而当 $\hat N$ 趋于无穷大时，根据弱大数定律，计算 ${{R}}$ 的公式可转化为：

因此 ${{R}}$ 可表示为：

其中， ${{D}} = \left({{{H}}^ {\rm{T}}}{{H}}\right) * {{I}}$ 。

通过转化，在计算 ${{R}}$ 时，我们只需要计算 ${{H}}$ 即可。当使用式(16)求解输出权重 ${{β}} $ 时，所提算法的计算复杂度和DELM是一样的。因此所提算法能在不增加网络计算复杂度的条件下提高模型泛化能力。

4 实验结果与讨论

在这一部分，我们使用雷达测量的5类飞机数据验证所提方法的有效性。其中飞机类型分别为轰炸机、战斗机、教练机、无人机以及运输机。雷达测量频段为34.7～35.7 GHz，频率间隔为2 MHz，方位角为0°～30°，步长为1°。在我们的实验中，每一个飞机目标共有31个HRRP样本，并且每一个HRRP样本为500维。图4和图5分别显示的是每一个飞机目标的1维距离像序列和距离像的时域特征。我们从每一个目标样本中取奇数位的16个样本组成训练样本，其余偶数位的样本组成测试样本。接下来，我们将分析网络隐层节点数、岭参数以及Dropout参数对模型分类效果的影响。实验运行软件环境为Matlab R2013a，硬件环境为Intel(R) Core(TM), 3.60 GHz CPU, 8 GB内存的PC机。

4.1 隐层节点数对分类效果的影响

由于HRRP样本维数为500，所以将深度网络中可见层的节点数设置为500。众所周知，随着网络深度的增加，可以获得更多抽象的特征表示。然而，太多的隐藏层会使得网络难以有效训练，并带来更多的参数需要学习。因此，我们不能盲目追求网络深度，而应该根据样本大小和实验需求来设置网络隐藏层的数量。通过对实验数据和任务要求的分析，发现具有两个隐含层的网络能够满足实验需要。因此，我们将网络隐藏层的数量设为2。图6显示了第1和第2隐藏层不同节点数对分类效果的影响。从图6(a)和图6(c)可以看出，在网络训练阶段，随着节点数的增加，两种算法(DELM和DCDELM)的分类准确率也在增加。而从图6(b)可知在测试阶段，随着节点数的增加，DELM算法的分类准确率出现波动，其变化趋势和训练效果不一致，表明该算法陷入了过拟合。由于引入了Dropout约束，所提算法(DCDELM)可以有效地解决训练样本有限时DELM的过拟合问题。在测试阶段，算法的分类精度随着隐藏节点数目的增加而增加，其结果如图6(d)所示。从图7可知，随着隐层节点数的增加，网络训练时间和测试时间也在增加。因此，在保证分类精度的前提下，有必要选择合适的隐含层节点。经过分析，我们选择隐藏层节点的数量分别为850和1000。

4.2 岭参数对分类效果的影响

通过上面的实验，我们确定了网络隐藏层数和隐层节点数。接下来，我们需要确定岭参数 $C = [{C_1},{C_2},{C_3}]$ 的取值。我们在 $ \{10^{-10}, 10^{-9},·\!·\!· ,$ $ 10^9, 10^{10}\}$ 范围内进行网格搜索以确定合适的参数值。我们遵循如下规则：首先固定其他两个参数 ${C_2}$ 和 ${C_3}$ ，然后在{10^–10, 10¹⁰}范围内选择可取得最好分类效果的 ${C_1}$ 的值。照此方法可确定每一个合适的岭参数。图8展示了不同的岭参数 $C = [{C_1},{C_2},{C_3}]$ 对分类效果的影响。从图中可以看出，当 ${C_1} = 0.1$ , ${C_2} = {10^{10}}$ , ${C_3} = {10^8}$ 时，可以获得最好的分类结果。

4.3 Dropout参数对分类效果的影响

所提算法模型中引入了Dropout约束，能够在训练样本较少的情况下解决模型过拟合的问题。其中约束参数 $\lambda $ 和Dropout概率 $p$ 影响着Dropout的效果。在这一部分，我们在 $\{10^{-10}, 10^{-9},·\!·\!· , 10^9, 10^{10}\}$ 范围内进行网格搜索以确定合适的 $\lambda $ 值，并在 $\{0.05,0.10,·\!·\!· ,0.95,1.00\}$ 范围内确定合适的 $p$ 值。这些参数对分类结果的影响在图9(a)中显示。从图中可以明显地看出，模型敏感于概率 $p$ 和参数 $\lambda $ 。由图9(b)可知，当 $\lambda $ 取值小于10⁶时， $p = 0.50$ 时模型分类效果要优于 $p$ 等于其他值时的模型分类效果，这是由于 $p = 0.50$ 时Dropout随机生成的网络结构最多，能够使模型具有最高的泛化水平^[21,22]。当 $\lambda $ 取值大于10⁶时，模型分类效果下降较为明显，这是因为若 $\lambda $ 过大，将造成网络中其他参数变得很小，而使网络陷入欠拟合。因此可以得出结论，所提算法敏感于概率 $p$ 和参数 $\lambda $ ，只有选择合适的 $\lambda $ 和 $p$ 的值，模型才能取得更好的分类效果。需要说明的是，当 $p = 1$ , DELM是所提算法的一种特殊形式。

4.4 所提算法和其他算法分类效果比较

在之前的工作^[17–20]中，研究者已经验证了DELM相比传统常用的深度学习模型的优越性。在本文中，我们将重点考虑在训练样本有限时，所提算法相较SAE和DELM在分类效果上的提高。由于样本维数为500，我们设置3种算法结构的可见层节点数为500，隐藏层数为2。其中DELM和所提算法隐层激活函数为‘sigmoid’。SAE的隐层节点数分别为850和300, $\rho $ 取0.66，训练迭代次数为30。将每一个算法均运行10次，然后求其平均值做为最终的分类结果。实验结果在表1中给出。

从表1中可以看出，所提方法的分类性能要优于DELM和SAE。这是因为所提出的算法在训练过程中引入了Dropout约束，可以有效地提高模型的泛化能力。SAE的分类准确率虽然高于DELM，但其训练时间更长，这是由于SAE模型在训练过程中需要进行迭代微调，而DELM模型在训练过程中无需微调操作，从而极大地减少了训练时间。另外，所提算法和DELM的训练时间差别不大，验证了所提算法在计算复杂度上与DELM相同。

5 结束语

本文提出了一种基于Dropout约束的深度极限学习机算法。深度极限学习机能够有效地捕获目标的深度抽象特征表示，与其他深度学习模型相比，学习速度更快。然而，当训练样本有限时，模型容易陷入过拟合。Dropout是解决神经网络过拟合问题的一种有效方法。因此，将其应用到深度极限学习机的训练过程中，可以有效地提高模型的泛化能力。实测雷达数据验证了该算法的有效性。