人工智能A7论坛 >> Tensorflow和深度学习笔记_论坛版 >> 7.循环神经网络(RNN) 基础 >> 7.3 RNN的高级形式

7.3.1 双向RNN (Bidirectional RNN )

    RNN既然能继承历史信息,是不是也能吸收点未来的信息呢?因为在序列信号分析中,如果我能预知未来,对识别一定也是有所帮助的。因此就有了双向RNN、双向LSTM,同时利用历史和未来的信息。


双向RNN

 

值得一提的是,但由于 RNN 建模中的遗忘性,最后⼀个 state 中包含的信息是有损 的,⽽且序列越靠前的信息损失可能越严重。⼀种⽐较可⾏的解决⽅ 法是同时训练两个 RNN,⼀个正向学习,⼀个反向学习,将正向的和 反向的最后⼀个 state 对应向量 concate 后得到的向量作为最终产物。 

对于正向 RNN 最后⼀个向量中记录的信息量从前往后依次增强,⽽反向的最后⼀个 state 记录的信息从后往前依次增强,两者组合正好记录了⽐较完整的信息