|
在深度进修中，为了有效地练习深度神经网络，有一些值得我们强烈推荐的做法。在本文中，我将先容一些最常用的要领，从高质量练习数据的重要性，到超参数的选择，再到更快的做出 DNN 原型的通用能力。这些要领的大大都由学术界和家产界的研究验证过，而且在诸如 Yann LeCun 等人写的《Efficient BackProp》和 Yoshua Bengio 的《Practical Recommendations for Deep Architectures》中也给出了数学和尝试证明。
你会留意到，我没有在这篇文章中提到任何数学证明。在这里发起的所有要点，更多地应该被看作是 DNN 的最佳练习要领中得到的总结。为了更深入地相识，我强烈发起您最后看一遍上面提到的研究论文和后头提到的参考文献。 练习数据 很多呆板进修从业者习惯于在任何深度神经网络(DNN)中利用原始(raw)练习数据。为什么不这样做呢，任何 DNN(或许)仍会给出好的功效，对吧?可是，说出「给出正确的数据范例，一个十分简朴的模子会比一个巨大的 DNN 更快地给出更好的功效」(固然，这大概会有破例)并不是很保守派的。因此，无论你是在做计较机视觉，照旧在做自然语言处理惩罚或统计建模等，你都应该实验预处理惩罚您的原始数据。你可以采纳以下几个要领来得到更好的练习数据： 尽大概大的数据集(DNN 对数据的需求是相当大的：越多越好) 删除所有具有损坏数据的练习样本(随笔本、高失真图像、虚假输出标签、具有大量空值的特征等) 数据加强——建设新样本(假如是图像，可以从头缩放、添加噪声等) 选择适当的激活函数 激活函数在任何神经网络中都是重要构成部门之一。激活将各人很是期望的非线性结果引入到了模子中。多年来，sigmoid 激活函数一直是最好的选择。可是 sigmoid 函数本质上有两个缺陷： 1.sigmoid 尾部的饱和(会进一步导致梯度消失问题) 2.sigmoid 不是以 0 为中心的。 一个更好的选择是 tanh 函数——在数学上，tanh 只是一个从头缩放和移位的 sigmoid，tanh(x) = 2*sigmoid(x) - 1。固然 tanh 仍然大概蒙受梯度消失问题，但好动静是 tanh 是以零为中心的。因此，利用 tanh 为激活函数可以更快地收敛。我利用中也发明利用 tanh 作为激活函数凡是比利用 sigmoid 函数好。 你可以按照详细任务进一步摸索其它选择，如已经表示出可以改进一些问题的 ReLU，SoftSign 等函数。 隐含单位和隐含层的数量 利用比最佳隐含单位数更多的数量凡是是安详的。因为，任何正则化要领在必然水平上都可以处理惩罚多余的单位。而另一方面，利用比最佳隐含单位数更少的数量时，产生欠拟合的概率更高一些。 另外，当回收无监视进修预练习的暗示(pre-trained representations，在后头部门中描写)时，隐含单位数的最佳数量凡是要更大一些。因为，在各类暗示中(对付特定的监视任务)，预练习暗示大概会包括大量的无关信息。通过增加隐含单位的数量，模子将具有足够支持从预练习暗示中过滤出最符合的信息的机动性。 选择最佳隐含层数是相对简朴的。正如 Yoshua Bengio 在 Quora 上提到的：「你只需要继承添加层，直到测试错误不再改进为止」。 权重初始化 始终利用小随机数(random numbers)初始化权重，以冲破差异单位之间的对称性。可是权重应该多小呢?推荐的上限是几多?利用什么概率漫衍来生成随机数?另外，当利用 sigmoid 激活函数时，假如权重被初始化为很是大的数，则 sigmoid 函数将会饱和(尾部区域)，导致灭亡神经元(dead neurons)。假如权重很是小，则梯度也会很小。因此，最亏得中间范畴选择权重，而且使它们环绕平均值匀称漫衍。 幸运的是，今朝已经有许多关于初始权重的适当值的研究，这对付有效的收敛长短常重要的。为了初始化获得匀称漫衍的权重，uniform distribution 大概是最好的选择之一。另外，如论文(Glorot and Bengio, 2010)所示，具有更多传入毗连(fan_in)的单位应具有相对较小的权重。 由于所有这些深入的尝试，此刻我们有一个丈量公式，可以直接用于权重初始化;譬喻从~ Uniform(-r, r) 范畴得到权重，对付 tanh 作为激活函数的时候，r=sqrt(6/(fan_in+fan_out));而对付 sigmoid 作为激活函数的时候，r=4*(sqrt(6/fan_in+fan_out))，个中 fan_in 是上一层的巨细，fan_out 是下一层的巨细。 练习速率 这大概是最重要的超参数之一，抉择了整个进修进程。假如配置的进修速率太小，你的模子大概需要几年才气收敛;假如进修速率太大，在开始练习几个样本之后，你的损失值(loss)大概会迅速增加。一般来说，0.01 的进修速率是安详的，但这不该被视为一个严格的法则;因为最佳进修速率应该按照详细任务来调解。 |
