首先我们抽象理解下一个网络结构是怎样的,如下图所示
总体来说有以下关系
在训练过程中output其实就是loss层的输出,训练的目的就是为了把loss值降到最低
链式法则用文字描述,就是“由两个函数凑起来的复合函数,其导数等于里边函数代入外边函数的值之导数,乘以里边函数的导数。
假设要求output对X1的梯度
假设F(x)= wx + b,相求output对w和b的梯度
手机扫一扫
移动阅读更方便
你可能感兴趣的文章