2.1 卷积神经网络-神经网络进阶

241 阅读5分钟

2.1 神经网络进阶

  • 多层神经元-神经网络

    以下的神经网络,具有一个隐含层,一个输出层

    其中输入依旧是x1,x2,x3,1(一个数据的3个维度加一个泛化1)

    隐含层有4个神经元,输出层有一个神经元,他们的计算公式和上节课介绍的逻辑斯蒂回归模型一样

    image.png

  • 神经网络正向计算

    多层的神经网络,需要从低到高,一层一层的计算出最后的结果,当然这些计算是可以并行计算的(通过矩阵乘法)

    image.png

  • 神经网络的训练

    在回顾一下上节课讲的神经网络的训练,是用损失函数对每一个参数求偏导,在用这个偏导乘以一个学习率α,再用这个结果去更新所有的参数,一步一步的迭代,最终得到一个比较好的神经网络

    image.png

  • 神经网络的训练-反向传播

    在多层神经网络中,我们如何给每一个参数去计算他的偏导数。

    首先先看h21-h的这一层所有的参数的导数是如何计算的,假设这里还是使用的sigmiod激活函数,使用平方差的损失函数

    这里的w3存在于h21,h22,h23和h的连线上,X就是h21,h22,h23的输出和+1

    w2存在于h11,h12,h13和h21,h22,h23的各种连线中,也可以说,存在h21,h22,h23的表达式中

    w1同理

    相当于说w1,w2都是以复合函数的形式参与到损失函数的计算中来,对于这种复合函数的求导使用的是链式法则

    image.png

  • 链式法则

    image.png

  • 神经网络训练优化

    上面这种训练的缺点:

    • 每次都在整个数据集上计算Loss和梯度
      • 计算量大
      • 可能内存承载不住
    • 梯度方向确定的时候,仍然是每次都走一个单位步长
      • 耗时

    优化方案

    • 随机梯度下降

      • 去掉每次使用整个数据集的假设,每次只使用一个样本。这样会有一个问题,就是说一个样本其实并不能反映整个数据集的一个方向,所以会导致他的收敛速度比较慢

        (收敛速度:模型从开始训练到结束训练,开始非常快,后来比较慢,慢慢达到一个稳定的值,当达到一个比较稳定的值,我们称之为收敛)

    • mini-batch梯度下降

      • 每次使用小部分数据进行训练,这一小部分数据是随机采样出来的,因为是随机的,所以可以代表整个数据集的梯度方向,从而既不会有全部数据集的占内存大,训练慢的确定,又不会有随机梯度下降不能够反映整个数据集梯度下降方向的问题

    mini-batch这样的梯度下降的其他问题

    • 梯度下降存在震荡的问题,一个样本是不能够反映全部数据集的方向的,mini-batch中的数据虽然是随机采样出来的,但是因为随机采样的数据量不够多,所以仍然会导致梯度下降存在一个震荡的问题,这个震荡的问题在单个样本上反映的更明显,对于mini-batch来说,size越大越不明显

      image.png

    • 局部极值问题

      一个函数不一定是个凸函数(凸函数:只有一个极小值的函数),不一定只有一个最优解,如下右图。

      这样的一个函数会导致,当我到了一个局部最优解的时候,不管我的梯度计算方向在哪,只要我的learning rate不是那么大,都会导致他往回去学,所以running rate是一个比较重要的参数,如果learning rate设置的太小,会导致整个的参数停在局部极值点的位置

      image.png

    • saddle point

      某一个点的导数为0,如果导数为0,不管α多大,所有参数的更新都是0,导致参数不能得到更新而停在这里,这个不管用mini-batch还是随机梯度下降都会遇到的问题

      image.png

    上面问题的解决方案

    • 动量梯度下降

      vt可以看做是前t-1步的梯度积累值的均值和当前梯度的和,因为每次计算vt的时候,vt-1都乘以了一个系数,这个系数可以控制之前积累的梯度其的作用的大小。

      image.png

      对于梯度方向来说,由于他是有方向的,因此当前梯度和积累值的加法,不光体现在大小上,还体现在方向上。如果momentum step和gradient step这两个向量他的方向差距比较大的时候,他们加在一起的值就会比较小,这样就可以防止震荡;而当他们两个方向差距比较小(或者和在一起)的时候,他们矢量相加的结果抵消的就会比较少,他们的和就会比较大,那么他们加完之后,就会比原来大很多

      这样就可以,在模型刚开始的时候,他的梯度方向是比较稳定的,这个时候由于梯度是有积累的,就可以使得我的梯度模型变的非常大

      image.png

    • 动量梯度下降的特点

      image.png

      • 开始训练时,积累动量,加速训练
      • 局部极值附近震荡时,梯度为0 ,由于动量,跳出陷阱
      • 梯度改变方向的时候,动量缓解动荡