GRU小结

本站访问次数:

GRU(Gated Recurrent Unit)即门控循环单元,是LSTM的变体. GRU保留了LSTM对梯度消失问题的抗力,但内部更简单. LSTM有:输入门,遗忘门,输出门,GRU单元只有更新门z与重置门r.

其中$z_t$表示更新门,$r_t$表示重置门. 更新门用于控制前一时刻的状态信息被带入到当前状态中的程度,更新门的值越大说明前一时刻的状态信息带入越多。重置门控制前一状态有多少信息被写入到当前的候选集$h^-_t$上,重置门越小,前一状态的信息被写入的越少。

计算公式:

$$r_t= sigmoid(W_r . [h(t-1),x_t])$$ $$z_t= sigmoid(W_z . [h(t-1),x_t])$$ $$h^-_t = tanh(W_h^- .[r_t * h(t-1), x_T])$$ $$h_t = (1-z_t) * h(t-1) + z_t * h^-_t$$