我一直理解不了梯度。
假设: <input> => layer01 => layer02 => layer03 => <output>
反向传播时求出来的梯度, 到底是针对哪一层的梯度啊。
layer01,02,03 上所有的权重参数都更新吗?
1
jdhao 2021 年 8 月 12 日 via Android 对,计算 loss 对各个层的偏导数,然后更新各层参数
|
2
Ehend 2021 年 8 月 12 日 via Android
一楼回答完了
|
3
aguesuka 2021 年 8 月 12 日
我是把梯度看作牛顿法的导数理解的
|