这里批量梯度下降,就是用准备的所有样本数据进行梯度下降计算.

然后小批量梯度下降就是使用比如我一共有500个样本,那么我从中拿出50个样本进行梯度下降计算.

然后随机梯度下降,更厉害, 从一共有500个样本中,随机的取一个样本进行梯度下降计算,

首先我们看批量梯度下降,使用所有样本数据,可以看到是蓝色的走的比较规律,最终得到最优解

然后小批量梯度下降是绿色的,可以看到因为用了一部分样本所以,走的比较乱,但是最终也到了最优解.

然后随机梯度下降,因为只有一个样本数据,所以数据量小,那么他走的就可以看到,来回拐弯,最终也会收敛.就像是森林中迷路,只要沿着一条小河走,最终都会走出去一样.

上面是上一节我们做梯度下降,自己写的代码,可以回顾一下,过程

然后我们来看一下具体写出来随机梯度下降的过程,其实就是

1.随机生成一个seta,或者随机一组seta 这个seta其实就是,对应的多元一次方程的,对应的w0...wn

2.然后生成了seta以后,求seta位置对应的梯度g,g代表斜率