Fafa-DL/Lhy_Machine_Learning

梯度下降

jiahe224 opened this issue · 3 comments

image
图中求偏导的原公式有误吗?

image
图中求偏导的原公式有误吗?

无误,因为这里没有真正意义的求偏导公式,这只是直译把”梯度下降“翻译成数学语言而已,要是有误也是有推导函数才能找错误。
估计你迷惑的是为什么前传的更新公式为w1<-w0+(lraL/awx0)里面要加x0而梯度下降的更新公式却和输入X无关,是吗?

我可能记错了,高数学完好久了,印象中对a变量求偏导时会把b变量视为常数,这里对w求导时w应该是变量,如果等于w0那不就是常量了吗 @timmmGZ

我可能记错了,高数学完好久了,印象中对a变量求偏导时会把b变量视为常数,这里对w求导时w应该是变量,如果等于w0那不就是常量了吗 @timmmGZ

w0只是个标记而已,意思是说所选择求导的变量是W集合中的w0,而不是赋值某个变量为w0。图片中这点确实表述得不太好,与其说w0 w1,不如说wi-old和wi-new。总得来说意思就是wi是变量,wj{for j!=i}都是常量。