全文参考以下B站视频及《神经网络与深度学习》邱锡鹏,侧重对GPU模型的理解,初学者入门自用记录,有问题请指正【重温经典】GRU循环神经网络 —— LSTM的轻量级版本,大白话讲解_哔哩哔哩_bilibili
更新门、重置门、学习与输出
注:一般来说, 是在时间步 t
上的数值特征集合,比如股价预测模型中, 是时刻股价
这里为了理解,假设是已有课程的学习笔记,表明我们要学习机器学习这一课程
= 【高数,线代,概率论,音乐欣赏,Python编程】
= 【机器学习】
1.重置门:控制筛选,判断哪些是对于机器学习有用的笔记,参与本轮学习
高数、线代、概率论、Python编程与机器学习相关性较强,而音乐欣赏与之无关
故 = 【0.5,0.9,0.6,0,1.0】,这个向量表示对机器学习的有用程度,之后与相乘进行筛选
2.更新门:哪些内容是有用的需要保留到未来
= 【高数,线代,概率论,音乐欣赏,Python编程
= 【1,1,1,0,1】
我的理解(不知道对不对):重置门和更新门的计算方式类似,但神经网络训练参数不同。用处也不同,重置门用于参与本轮的学习,更新门用于判断哪些信息需要保留到未来。
3.学习
(1)与对应相乘,即
= 【0.5,0.9,0.6,0,1.0】
= 【高数,线代,概率论,音乐欣赏,Python编程】
= 【0.5高数,0.9线代,0.6概率论,0,Python编程】
(2)加入,即
【0.5高数,0.9线代,0.6概率论,机器学习,Python编程】
(3)tanh相当于对以上笔记进行学习,学习的结果笔记用表示
= 【微积分,矩阵乘法,假设检验,决策树,Python】
4.输出
对于学习后的结果与之前的笔记具有重复性,所以需要删除重复内容。删除的依据就是,即删除已确定有用的笔记。再与确定有用的笔记进行向量拼接。
=【高数,线代,概率论,音乐欣赏,Python编程】
= 【1,1,1,0,1】
= 【高数,线代,概率论,0,Python编程】
= 【微积分,矩阵乘法,假设检验,决策树,Python】
= 【0,0,0,1,0】
= 【0,0,0,决策树,0】
向量拼接
最终结果=【高数,线代,概率论,决策树,Python】